【摘 要】
：
唇语识别任务本身具有复杂性和多样性,为了应对这些挑战,提出了一种基于自注意力序列模型的唇语识别方法,并在带有上下文信息的单词级唇语识别任务中取得了很好的结果,模型在LRW数据集上的Top1准确率为84.79%,比主流的方法提高了2.75%的准确率。通过多方面详细的分析和比较,证明了自注意力机制能有效提高唇语识别的性能。
【机 构】
：
盐城工学院信息工程学院,东南大学网络空间安全学院,东南大学信息科学与工程学院
论文部分内容阅读
唇语识别任务本身具有复杂性和多样性,为了应对这些挑战,提出了一种基于自注意力序列模型的唇语识别方法,并在带有上下文信息的单词级唇语识别任务中取得了很好的结果,模型在LRW数据集上的Top1准确率为84.79%,比主流的方法提高了2.75%的准确率。通过多方面详细的分析和比较,证明了自注意力机制能有效提高唇语识别的性能。
其他文献
针对传统的电能质量分析需要在低压侧部署大量的监测站,且对通信通道和计算设备的数据传输能力及计算能力有一定要求,提出一种计及边缘计算任务分配优化的电能质量分析方法。首先构建云边协同模式下的电能质量分析系统框架,将电能质量分析算法希尔伯特-黄变换(HHT)部署于边缘层,从而构建一种基于边缘计算的电能质量分析模型;然后分析电能质量监测的任务分配问题,利用遗传算法对其进行求解,生成最优任务分配策略。以某一台区下的电能数据为例,验证了所提方法的可靠性和准确性,同时将任务分配优化后的结果和现有方法对比,所提方法具有更
针对控制节点未知的中立型耦合复杂网络渐近同步问题,文中设计了更符合工程应用的自适应牵制控制器,并给出了自适应更新律的设计依据。根据广义Itö公式、线性矩阵不等式和Lyapunov稳定性理论,给出了中立型耦合复杂网络渐近同步的充分条件。通过数值仿真,计算出同步所需最少牵制节点数,进一步验证了所得渐近同步准则的有效性。
高速高精度大带宽的信号采集系统是宽带成像雷达的重要组成部分。针对单片高精度ADC的采样率无法满足大带宽成像雷达中频直接采样的问题,文中采用多路ADC芯片交替采样的方法,在保持采样精度不变的条件下提升系统采样率。设计了一种基于4片ADC12DJ3200交替采样的宽带信号采集系统,该系统中ADC单片采样率为3.4 GS·s-1,合成的总采样率为13.6 GS·s-1,量化位数12 bit。测试结果表明,在440 MHz到6140 MHz频率范围内,该系统的有效位大于
NURBS表示适用于主流及普遍的曲面设计。针对光学渐进镜片在设计中要保证光顺性且局部修改能够保持球镜度不变的问题,文中提出了一种利用NURBS重构技术的优化算法。因为NURBS曲面具有良好的局部修改性以及仿射与透视变化下的不变性,所以选择用NURBS重构出光学镜片且界定曲面部分修改的研究方法。通过预处理得到镜片上的型值点,设计了基于反求控制点的3次NURBS曲面重构算法,定义了基本概念,解决了型值点的选取,二次方法求解控制点,再次曲面拟合和界定局部修改等问题,并通过实验验证了文中算法的有效性。
针对传统电学雷达系统难以在一套硬件设备上实现宽频段范围内工作波段切换的问题,文中提出了一种可重构微波光子去调频雷达成像系统方案。该方案在发射机中利用级联电光调制器结构实现雷达发射波形的可重构,通过调整本振信号的频率使雷达的发射频段能够灵活改变。在接收机中利用平行结构马赫增德尔调制器实现雷达回波信号的去调频接收。通过逆合成孔径雷达成像实验评估了所提出的光子辅助雷达系统的性能。该光子雷达系统在Ku波段的不同带宽下进行验证,发射信号带宽分别为1 GHz和4 GHz,接收机模数转换器的采样率为100 MSa·s<