本学位论文的工作基于国家自然科学基金项目“移动认知无线电关键技术研究”(No.61271207)和“认知无线电传感网络关键技术研究” (No.61372104),研究目标为利用机器学习算法解决协作频谱感知中的恶意用户检测问题,主要内容为基于SOM神经网络提出相应的恶意用户检测算法,并在该算法的基础上进行改进,从而提高恶意用户的检测效果,为传统的识别算法提供一些新的思路。目前,机器学习在各领域都有了广泛的研究,成为时下最热门的领域之一。考虑到认知无线电中传统的恶意用户检测算法大多已趋于完善,本文尝试利用神经网络中的一种常用算法——SOM神经网络来解决恶意用户检测问题。首先,本文提出了一种基于SOM神经网络的恶意用户检测算法,并在该算法的基础上提出了“可疑度”概念。基于传统SOM算法存在的问题,本文在“可疑度”的基础上进一步提出了“平均可疑度”算法,并将检测结果与传统检测算法的结果进行了比较。此外,本文构建了一种基于核SOM算法的有监督SOM神经网络模型,设计了相应的分类算法,并用于解决根据已知的用户数据及类型判断某次级用户是否为恶意用户的问题。仿真结果表明,该算法具有良好的分类效果。全文共分为五章,各章节的主要内容为:第一章介绍了课题的研究背景及研究意义,概述了协作频谱感知中的恶意用户检测问题,分析了传统的恶意用户检测算法,同时给出了本论文的章节安排。第二章介绍了神经网络的基本概念,分析了 SOM神经网络的基本原理及应用,包括参数初始化、训练方法与评价准则。并介绍了核函数的基本原理及应用。第三章利用传统SOM神经网络的基本方法,提出了一种基于“平均可疑度”的恶意用户检测算法,并与传统的检测算法进行了比较。第四章针对次级用户的数据分类问题,构建了一种基于核SOM算法的有监督SOM神经网络并提出了相应的分类算法,利用测试集和训练集进行了验证。第五章总结了本学位论文的研究工作,并指出了进一步的研究方向。