多尺度模态感知在文本指代实例分割中的研究与应用

来源 :图学学报 | 被引量 : 0次 | 上传用户:dingbinqi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本指代实例分割(RIS)任务是解析文本描述所指代的实例,并在对应图像中分割出该实例,是计算机视觉与媒体领域中热门的研究课题。当前,大多数RIS方法基于单尺度文本/图像模态信息的融合,以感知指代实例的位置和语义信息。然而,单一尺度模态信息很难同时涵盖定位不同大小实例所需的语义和结构上下文信息,阻碍了模型对任意大小指代实例的感知,进而影响模型对不同大小指代实例的分割。对此,设计多尺度视觉-语言交互感知模块和多尺度掩膜预测模块:前者增强模型对不同尺度实例语义与文本语义之间的融合与感知;后者通过充分捕捉不同尺度实例的所需语义和结构信息提升指代实例分割的表现。由此,提出了多尺度模态感知的文本指代实例分割模型(MMPN-RIS)。实验结果表明,MMPN-RIS模型在RefCOCO、RefCOCO+和RefCOCOg 3个公开数据集的oIoU指标上均达到了前沿性能;针对文本指代不同尺度实例的分割,MMPN-RIS模型有着较好的表现。
其他文献
<正>新媒体技术的发展融入大学校园后,不仅拓宽了大学生学习生活视界,丰富了沟通交流途径,同时也引入了社会新思潮。当代大学生思维活跃,接受新事物速度快、热情高,但价值观、人生观尚未成熟。高校思政教育,意在培养思想素质过硬、价值取向正确、职业素养优良的大学毕业生。新媒体平台信息内容存在不适宜大学生认知范畴,也从侧面反映出当前高校思政教育在教学内容、教育形式等方面的诸多问题。
期刊
针对基于传统贪婪迭代类压缩感知的信道估计算法在低信噪比条件下容易引入错误原子,造成估计精度降低的问题,提出了一种联合小波去噪与压缩感知理论的信道估计算法。该算法利用小波阈值去噪对最小二乘(Least Squares, LS)算法预估计的信道频率响应(Channel Frequency Response, CFR)进行降噪处理,同时估计出信道的噪声水平。在压缩感知重构阶段,算法根据估计得到的噪声标准
<正>痛风是嘌呤代谢障碍或尿酸排泄减少所引起的尿酸增高的一组代谢性疾病,主要表现为急性关节炎、痛风石形成、慢性关节炎、关节畸形等症状。具体发病机制未明,由遗传因素和环境因素共同致病,因此痛风的发病有一定的家族易感性,并且常与肥胖、脂代谢紊乱、高血压、酗酒、动脉粥样硬化和心血管疾病等合并发作。对于家族中有痛风患者,同时自身又有上述危险因素的人,就可以认为是痛风患者的高危人群。对于痛风患者及痛风高危人
期刊
综合运用文献资料法、比较分析法、逻辑分析法等方法,探索融合课程思政理念元素,充分挖掘羽毛球专修课课程知识中的思政元素或理念,使羽毛球专修课课程肩负立德树人功能,承担育时代新人责任,突出课程的育人价值;对比传统的羽毛球专修课,为现实困境寻求解决方法,以期更好创造教学氛围和更优达到教学目的。高校羽毛球专修课现实困境有:各独立学科的融合有待加强;学科建设目标中缺乏育人体系设计;思政元素的深入挖掘和育人目
"标准决定质量,有什么样的标准就有什么样的质量,只有高标准才有高质量"。推动基层治理创新,要善于抓住关键处、找准突破口。把标准化原理和方法引入基层治理,充分发挥标准化的基础性、战略性作用,对于进一步提高基层治理水平和效率、推进基层治理体系和治理能力现代化具有重要意义,为创新打造"枫桥经验兰山红"品牌提供强大智力支撑和实践指南,推动基层社会治理最新理论成果在兰山落地生根,开花结果。从这个意义上说,制
随着素质教育的不断推进,对现阶段的小学数学教学提出了新的改革要求。在小学数学教学实践中,教师应结合学生的实际学习情况,为学生提供更加具有逻辑性、创新性的教学活动内容,帮助每一个学生进入深度学习,逐渐提高学生的数学学习兴趣和数学核心素养。本文主要探讨如何让小学数学走向深度学习。
为了解长江上游特有鱼类前鳍高原鳅(Triplophysa anterodorsalis)的繁殖特征,于2014年1-12月在金沙江一级支流黑水河下游江段对前鳍高原鳅进行逐月采样,并采用数理统计学方法对其性腺发育与性成熟系数的周年变化、繁殖群体组成、卵径分布、繁殖力、产卵水温和繁殖集群等进行了研究。结果显示,前鳍高原鳅的性成熟个体在1-2月以及9-12月出现,其雌、雄个体的性成熟系数平均值均在12月
基于中国2010—2018年245个城市的平衡面板数据,运用面板固定效应模型、中介效应模型等方法实证分析金融科技对绿色发展的影响与作用机制。研究发现:金融科技能够显著促进城市绿色发展。从传导机制看,金融科技通过推动供给侧绿色技术创新动能和需求侧产业结构升级动能进而促进绿色发展。从地理结构看,金融科技中心溢出和地方金融科技集聚均能促进绿色发展,随着各城市与中心城市距离的增加,金融科技中心溢出和地方金
研究背景:肝移植是终末期肝病的有效治疗方法,目前肝移植术后诊断排斥反应主要通过穿刺活检进行,但是移植后部分患者凝血功能差,有很大的风险。能否用一种简单和有效的方法检测肝脏排斥反应的程度和做出对应的处理,对移植后患者的长期预后至关重要。目前在肝移植排斥反应方面可以通过肝内基因进行排斥反应程度的诊断,在皮肤移植排斥反应方面因为移植皮肤可以通过表面观察,大多在症状出现后进行对症治疗,在联合移植方面发现通