基于多模态与视空间注意力的脑机接口及其机器人应用研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:windamill
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
脑机接口(Brain-computer interface,BCI)是一种无需依赖外周神经和肌肉动作传导而直接将大脑活动转化为控制指令的交互方式。如何提高异步脑机接口的性能及提供更强的人机交互能力,是BCI领域的重要研究课题。本文的主要目标是研究更高性能且实用性强的脑机接口,并实现其在机器人控制中的应用,助力于神经功能辅助和提供新型人体与神经假肢交互的手段。首先,对于异步脑机接口系统,其关键挑战是有效区分用户的空闲状态和控制状态,同时在控制状态下发出指令时保持较短的响应时间和较高的准确率。因此本文提出一种基于稳态视觉诱发电位(Steady state visual evoked potential,SSVEP)与眼电(electrooculography,EOG)信号的新型多模态异步脑机接口系统,以实现用户对12个字符的输出控制。其中每个字符分别对应以不同频率和相位闪烁的单个按键。此外,系统通过基于多频段的典型相关分析(canonical correlation analysis,CCA)方法识别以联合频率相位编码方式诱发的SSVEP信号,采用特定的眨眼检测方法识别以突出眨眼提示方式引导的EOG信号,最终实现字符的异步输出。10名健康被试参加了测试并在平均水平上取得了105.52 bit/min的ITR值、95.42%的准确率、1.34 s的响应时间和0.8%的FPR值。实验结果表明,本系统可以在有效检测用户控制状态和空闲状态的同时实现对BCI控制指令的快速及准确识别。其次,本文研究了被试在进行基于SSVEP的视空间注意力任务时的脑电活动及其在BCI应用上的分类表现。其中,视空间注意力主要由显示注意和隐式注意组成。以往的研究集中在前者,对后者产生的脑电变化及其重要性缺乏关注。因此,本文探讨了25名受试者在0.75°至13.90°的不同视网膜偏心率的条件下执行隐式注意任务,以及在显示注意和无注意任务中的脑电活动。通过对用单一频率刺激诱发的SSVEP信号进行特征分析,本文发现,被试的SSVEP响应与用不同距离表征的偏心率之间均表现出显著的负相关联系,且显示注意的多种脑电特征也明显强于不同水平的隐式注意。此外,本文对这两种注意力和无注意力的EEG信号进行解码并取得了91.42%的平均准确率。此工作有助于我们了解不同视觉注意力的脑电表征并为基于注意力转移的脑机接口研究提出了新的解决思路。再次,针对使用非侵入式BCI控制机械臂难以在三维(3D)环境中运动并完成复杂的日常任务这一关键挑战,本文提出一种融合上述多模态异步脑机接口与计算机视觉的新型机械臂脑机协同控制系统。该系统允许用户在异步模式下自由选择15个脑控指令,且每个指令对应不同的3D空间中的机械臂动作。这种BCI引导的机器人控制使用户可在脑控状态下自由移动机械臂,使其能在大范围内向目标靠近。此外,计算机视觉模块则实现在BCI引导控制后对目标进行精准识别,并协助机械臂完成更精细的抓取任务。实验结果表明,此系统达到了超过92%的在线准确率,且在通过BCI控制机械臂的三维运动中产生了高效的运动轨迹。另外,使用本文的协同控制方法能够减轻用户的精神负担,同时帮助他们以更少的BCI指令和误报及更短的执行时间完成对机械臂的移动-抓取-喝水的复杂任务控制。最后,考虑到以往的BCI相关研究要求受试者将注意集中于单任务,从而限制了他们进行其它思维或肢体活动的能力。本文讨论了人们在多任务条件下使用BCI控制机器人的表现。8名健康受试者在执行一项与运动相关(运动想象和双手平衡球动作)的任务同时,通过视空间注意力实现了对仿人形机械臂执行“喝水”动作的异步控制。其控制的准确率分别达到了90.0%和87.5%。结果表明,基于多任务BCI开发的机器人控制系统在使用仿人形机械臂实现人体增强方面具有巨大潜力。
其他文献
我国机动车保有量和公路里程迅速增加的同时,也伴随着日益突出的交通安全问题,合理的开展交通安全评价研究,制定针对性的整改措施,是现阶段交通安全改善工作的重点内容。基于事故频数建模的交通安全计量评价方法是交通安全评价体系中一项重要的研究分支,也是保障高速公路交通安全的重要工作环节。但是,现阶段该研究方法主要存在如下缺陷:(1)事故频数建模囊括的风险因素范围有待扩充,多数研究针对国内高速公路的设计特征和
学位
目的:探讨BRAF V600E基因检测在诊断意义不明确的细胞非典型病变或滤泡性病变(atypia of undetermined significance or follicular lesion of undetermined significance,AUS/FLUS)结节良恶性中的临床应用价值。方法:回顾并分析南京医科大学附属南京医院(南京市第一医院)2019年3月—2022年10月术前经超
期刊
射频功率放大器作为无线射频前端的关键器件之一,其工作性能对射频通信系统有着至关重要的影响,因此如何提升射频功放的性能一直以来都是通信领域的热点研究课题。一方面,为了适应多模通信的发展需求,宽频/双频功放成为近几年来学术界和商业界所关注的研究热点。另一方面,为了提高功率放大器的平均效率以适应高峰均功率比的通信信号,Doherty、Outphasing等负载调制类功率放大器被广泛地应用于通信系统中。另
学位
大规模精确标注数据集的出现是现如今图像识别领域取得巨大成功的关键之一,然而数据的标注工作是一项十分耗时而代价高昂的工作。迁移学习作为这一问题的有效解决方案而受到了巨大的关注,由于其能够从标注充分的相关数据集(源数据)中迁移知识到当前任务中(目标数据),因而有效地缓解了数据标注信息缺乏的问题。本论文针对图像识别中的迁移学习问题展开研究,主要贡献如下:1.第一,针对无监督迁移学习问题,提出了一种基于类
学位
文本图像识别是计算机视觉任务中的一个重要研究问题。日常生活中的许多应用场景,例如智能交通、产品识别、图像检索等,都得益于丰富的文本语义信息。因此,文本图像识别成为一个极具挑战的前沿研究课题。目前,面向常规印刷体的识别模型取得了瞩目的成功。然而,大多数识别模型仍然不够稳健,无法处理来自环境的多种干扰,例如不规则形状的文本和复杂的背景噪声。同时,识别大量风格迥异的手写体文字仍然是一个巨大的挑战。近年来
学位
电力系统作为能源的主要传输系统之一,对能源节约和电力传输效率以及电力供应和需求有着重要影响。近年来,随着电力系统智能化需求越来越高,人们对电力系统可靠性、可控性和安全性进行了更深入的研究。高压断路器是电力系统中广泛应用的开关设备,其执行机构的性能对电力系统的高可靠性至关重要。一些研究表明,高压断路器的故障主要由操作机构故障引起。永磁操动机构作为其中一种操动机构,具有结构简单、尺寸小、可控性和可靠性
学位
情绪(emotion)在人们日常生活中发挥着重要的作用,保持合适的情绪状态也能有效地维持身心健康。情感脑机接口(affective brain-computer interface,a BCI)系统旨在通过脑活动信号对人的情绪状态进行识别,并试图更进一步地对人们的情绪状态进行调控,是实现情感智能(emotion artificial intelligence)的重要途径。此外,研究不同情绪状态下人
学位
随着负荷需求的逐渐增加,和能源问题的日益突出,越来越多的风电场相继投入运行。风电系统具有外送距离远,波动性和间歇性强,相关电力电子设备多的特点。以上因素会使含风机并网的电力系统中,不同子系统的开环振荡模态之间发生交互作用,从而导致开环模态谐振的发生。但是目前针对开环模态谐振的产生机理的研究尚未完善,且其对电力系统的振荡影响还没有定论,甚至没有形成有效的分析方法,特别是非对称开环模态谐振。基于此,本
学位
非线性和不确定性广泛存在于现实系统中。由于物理限制和安全需要,实际工程系统普遍会受到约束的限制。另外,在实际工程应用中,信息的接收和传递通常存在时滞现象。如果在设计控制器时不考虑约束和时滞对系统的影响,不仅可能会导致系统性能的下降,甚至可能会导致系统的不稳定,造成系统无法运行。虽然不确定非线性系统的控制问题取得了丰富的研究成果,但是现有大部分研究成果需要较强的假设条件,且约束和时滞的同时存在也给相
学位
端板连接钢框架结构体系具有良好的抗震性能,近年逐渐被应用于高地震活动区域的建筑中。当结构的梁柱构件通过端板和高强螺栓连接时,在地震荷载作用下梁柱连接区域会出现显著的非线性变形,导致整体结构的失效模式出现较高的离散性,针对此问题,目前的抗震规范倡导通过内力调整的方式即调整“强柱弱梁”系数进行结构失效模式控制设计,基本理念就是“加强-加强-再加强”。然而这并不是最经济的方法,也不应该是唯一控制失效模式
学位