基于声音诱发脑电信号的说话人身份识别方法研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:nobita8371
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在中国,每年有数以万计的人确诊听觉障碍,助听器可以有效地帮助康复治疗。大多数助听器放大有效声音的同时,也会放大环境噪声,影响体验。通过采集听者脑电信号,使用听觉注意力检测方法获取听者关注的声音并进行放大,是提升患者体验的有效手段,但是该方法通常要求听者高度集中注意力而难以推广应用。为解决该问题,本文试图通过听者脑电信号识别说话人身份,以此降低对听者要求。目前关于听者脑电信号的说话人身份识别研究非常少,对于说话人差异性的特征表征、关键频段、关键脑区和影响说话人身份识别性能的其他因素没有明确的结论。因此,本文针对声音诱发脑电信号的说话人身份识别,开展实验范式、特征提取及分类方法的研究,具体工作如下:(1)针对声音诱发脑电信号的说话人身份识别实验范式的空白,本文创新性地提出了无噪声和有噪声环境两种实验范式。在无噪音环境下声音诱发脑电信号的说话人身份识别实验范式中,使用Neuroscan记录说话人音频刺激下被试的脑电信号。在噪音环境下声音诱发脑电信号的说话人身份识别实验范式中,将说话人音频分别与流水声噪音音频和人声噪音音频文件融合成双轨音频文件,记录双轨音频刺激下被试的脑电信号。(2)针对声音诱发脑电信号的说话人身份识别研究中特征表征、关键频段和关键脑区等不明确的问题,本文通过特征选择和多特征融合,使用孪生神经网络对无噪音环境下说话人身份识别展开研究,并分析了影响说话人身份识别性能的其他因素。结果表明,融合时域特征和时频特征相比于使用单特征性能提高了5%-7%;Delta和High Gamma频段说话人身份识别二分类平均准确率达到70%左右,这两个频段包含最多的说话人身份信息;顶叶和额叶是活跃程度最高的两个脑区,分类贡献率最大。另外发现说话人性别、听者的注意力程度和听者对说话人熟悉程度能够显著性地影响说话人身份识别准确率。(3)针对真实环境中噪音的影响,本文使用注意力机制改进了孪生神经网络,提高说话人身份识别模型的鲁棒性。本文通过在孪生神经网络的卷积层中加入注意力层,增加对说话人相关特征的权重分配,减少环境噪音的影响。结果表明,在不同类型噪音和不同信噪比下,改进后模型的识别准确率有显著性提高。
其他文献
有限元分析作为目前广泛应用的数字化仿真技术依赖模型的离散化,模型离散化主要将模型转换成四面体网格模型或六面体网格模型。针对目前单一六面体网格生成与构造困难的问题,提出了一种基于体细分的复杂六面体网格模型交互式构造方法并构建了一个建模系统。此系统在建模阶段就以六面体网格单元作为基础形式进行构建,省去了将三角形表面网格转为六面体网格耗时的步骤,且将这种方法应用于拓扑优化结果CAD重建阶段生成Bézie
学位
人脸画像合成,是指将给定的人脸照片转换为某种艺术风格的肖像,如素描、钢笔画等。现有工作通常利用成对的照片-画像数据集,以有监督的方式训练画像合成模型,以获得较好的生成效果。然而,获取成对的照片-画像数据集需要耗费大量的时间、人力和财力。因此,无监督人脸画像合成方法,即从非成对照片-画像数据中学习照片域到画像域的映射关系,具有重要的研究价值。现在,研究人员已经提出了少量无监督人脸画像合成方法。不过,
学位
该仪器是为实施脉冲调制中频电疗方法而设计的一种新型电疗机。它将有关低频脉冲信号对中频调幅后,利用被放大的调幅波电流对人体进行治疗。经空军总医院临床实践,可治疗多种疼痛和疾病。本文介绍其电路设计原理。
期刊
声呐作为水下机器人、航行器等载具的辅助设备,为其执行海底目标探测识别、海床建模与绘图等任务提供有效的声学数据信息。声呐图像是声呐数据信息的一种直观表现形式。当前通过声呐图像实现海底探测的自动化、智能化已经成为一种主流的形式。传统图像识别检测方法常常依赖于专业人员丰富的先验知识,需要其根据当前受检测物体进行手工特征提取,受人为因素影响大,且检测速度与检测精度不理想。深度学习目标检测算法作为当前目标检
学位
随着智能设备和无线网络等基础设施的普及,时空众包任务越来越多的出现在平时的生活中(例如,滴滴、美团以及优步等)。时空众包任务的研究也越来越得到学术界的重视。其中,时空众包任务的任务分配成为了研究的重点。传统研究方法通过匹配的方式进行任务的分配,大多缺少考虑到动态的环境。此外,大多数的推荐方法是针对职业性的时空众包任务工作者,注重考虑时空众包任务分配的效率和利益收入,较少考虑到工作者本身的兴趣与爱好
学位
人体的各个脑区并不是相互独立的,不同脑区之间存在某种联系,在脑电数据集上,体现为脑电通道间是相互依赖、相互影响的,即图数据中边的信息。因此脑电数据集需要被扩展为图数据,使网络可以提取到图数据节点之间的结构信息,这符合图卷积神经网络的观点。目前,针对图卷积模型,存在节点间关系挖掘的不够充分,挖掘出的均只含有一种信息,并不能充分表达节点间关系,以及模型迁移学习能力不强的问题。基于以上问题,本文主要进行
学位
随着教育事业和数字技术的蓬勃发展,高校内大量数据开始以电子形式进行存储。为了有效利用这些数据,辅助教学工作的展开,越来越多的高校开始研究教育数据挖掘。教育数据挖掘是从大量有噪声、不完整的校园数据中提取有价值的信息,如贫困生与普通学生的差异性,学生成绩与学生行为的相关性,学生的选课趋势,教师教学风格对教学质量的影响等。因此,教育数据挖掘是当前教育领域的研究重点。教育数据挖掘领域有许多研究方向,学生成
学位
随着科技的发展,移动摄像设备逐渐普及,翻拍泄密事件层出不穷,已有的数字水印技术能够有效解决多媒体数据版权保护等问题,但如何设计出能抵抗屏摄攻击的数字水印算法依然是个难题。传统的数字水印算法可以有效抵抗常见的攻击类型,如JPEG压缩、裁剪攻击等,但因为屏摄攻击是个复杂的过程,对于抗屏摄攻击的数字水印算法研究较少。为了解决这个问题,基于卷积神经网络(Convolutional NeuralNetwor
学位
睡眠是人类的生命本能,但是随着社会压力的增大,越来越多人面临着睡眠障碍的困扰。睡眠分期作为睡眠质量评估和障碍诊断的基础,在相关领域研究中占据重要地位。脑电信号记录睡眠期间的大脑活动具有高准确性,是睡眠阶段判读中的主要评判依据,被广泛应用于临床和科研中。然而现有的脑电睡眠分期方法更多基于特征工程或者深度学习框架,主要关注大脑局部信息而忽略了通道之间及脑区之间的信息交互,忽略了脑电信号固有的“图”属性
学位
网约车系统(Online Car-Hailing System,OCS)是城市交通的重要组成部分,随着汽车保有量的快速增多,在城市运营网约车会遇到交通拥堵问题。预测交通流指导网约车进行路径选择,对缓解城市交通拥堵具有现实意义。本文针对交通流预测与网约车路径选择展开研究。目前在交通流预测领域多采用深度学习方法,并且通常只考虑少数交通流影响因素,通过综合考虑多种交通流特征预测交通流能有效提高预测精度;
学位