基于深度学习的张量填充算法

来源 :湖南大学 | 被引量 : 0次 | 上传用户:snower2010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
监控大型网络的性能对于网络状态跟踪、性能优化、流量工程、异常检测、故障分析等至关重要。然而,要想获得全网性能视图,存在测量代价高的挑战。为了降低测量代价,可以测量网络的路径或时间间隔子集,同时利用它们的时空相关性推断剩余的网络性能数据。缺失数据恢复的质量很大程度上依赖于推测算法。张量填充以其利用多维数据结构进行更精确的缺失数据推测的能力引起了人们的关注。然而,传统的张量填充算法仅通过内积建模数据特征之间的三阶相互作用,不足以捕获不同特征维度之间的高阶非线性关系。近年来,深度学习在语音识别、计算机视觉和自然语言处理方面取得了巨大的成功。因此,在本文工作中,努力开发基于深度学习的技术来解决基于内积交互的张量填充的缺陷问题。该文的主要研究工作和成果如下:
  1)为了解决现有张量填充算法的局限性,本文提出了一种新的神经张量填充(NTC)模型。NTC模型通过外积操作有效地建模数据特征之间的三阶相互作用,并创建了三阶相互作用映射张量。在此基础上,应用3D卷积神经网络从局部到全局范围学习特征映射之间的高阶相互作用。本文从理论上证明了这种操作具有更好的学习能力。进一步在两个真实的网络监控数据集(Abilene和WS-DREAM)上进行了大量的实验,以证明NTC模型可以显著降低丢失数据恢复的错误率。当采样率较低为1%时,使用NTC模型时,测试数据的恢复误差率约为0.05(Abilene)和0.13(WS-DREAM),而使用目前最佳的张量填充算法时,恢复误差率约为0.99(Abilene)和0.99(WS-DREAM),分别是NTC模型的21倍和8倍。
  2)本文提出了另一种融合型神经张量填充(FuNTC)模型来解决NTC模型只能提取潜在特征维度之间非线性复杂结构信息的缺点。在神经网络的框架下,NTC模型与张量分解模型共享相同的潜在特征嵌入,能够同时高效提取非线性特征信息和线性特征信息,实现更高精度的数据恢复。FuNTC模型继承了NTC模型的优点同时弥补了其不能捕获高阶线性特征的缺点。在两个真实的网络监控数据集(Abilene和WS-DREAM)的实验中表明,使用FuNTC模型比NTC模型具有更好的恢复性能。当采样率为1%时,目前最佳的张量填充算法其恢复误差分别是FuNTC的24倍(Abilene)和8倍(WS-DREAM)。
其他文献
随着全球化的竞争日益激烈、产品的结构功能日益复杂、技术管理的高度不确定性及研制主体的利益竞合博弈等,大型客机研制供应链变得越来越脆弱。大型客机研制供应链包含多级供应商且供应提前期长,是一个复杂多变的系统环境,具有投资高、技术含量高、成本高的特点。由于供应链中各节点企业间存在频繁的业务往来与衔接,供应链风险依托着物流、资金流及信息流等载体在供应链上下游的流动,实现在节点企业之间的传播并随着这一过程不
学位
监狱面向的人群较特殊,监狱的安全出现问题将会引起社会治安问题。监狱安全管理即控制监狱风险事件的发生。监狱风险事件既可能因外部因素而引起,如形势政策等,也可出自于内部因素。当前大多数影响恶劣的监狱危害性事件都来自监狱内部风险。监狱内部风险是监狱风险的重点,是监狱面临的最普遍的风险。但目前我国的风险评估尚处于起步阶段,评估过分依赖监管人员主观判断,缺乏科学有效的评估方法。与此同时,我国已经建立起监狱基
学位
随着创新市场的竞争不断加剧,传统的生产管理方式已无法满足客户需求的多样性。在生产活动中,越来越多的企业以供应链为单位展开紧密的合作,然而此种方式研发成本较高,且创新效率较低。随着产学研协同创新理论的不断发展,越来越多的供应链企业选择与具有相应创新能力的高校与科研院所展开更为广泛的合作活动。因此,产学研合作背景下供应链协同创新模式越来越受到人们的关注。其中联盟的利益分配问题将直接影响各大主体参与项目
学位
2015年政府工作报告中提出要创新社会治理,加大结构调整力度,积极作为,夯实经济社会发展根基的社会治理理念。2017年党的十九大对社会治理能力进行再一次强调,要求各级党委、政府要打造共建共治共享的社会治理格局。本文所指代的地方政府是指县级政府,作为功能最为齐全的基层政权,是国家治理的基本单位。构建评价体系对县级政府的治理能力进行有效评价,对于促进县级政府治理能力的提升具有重要的理论意义和现实意义。
学位
近年来,由于社交媒体的广泛传播,在线群组活动也变得愈加频繁,从而使得群组推荐逐渐成为研究的热点。另一方面,伴随着深度学习在语音、图像、文本等方面取得的巨大成功,推荐系统中关于深度学习的研究也在如火如荼的进行着。本文正是在这样的背景下尝试在多任务学习框架中,通过利用注意力网络来动态地捕捉用户偏好来强化用户群组推荐,通过多层次注意力网络来强化社交网路中的群组推荐,以及通过自注意力网络和门控网络来强化物
学位
慢速拒绝服务(LDoS)攻击是拒绝服务(DoS)攻击的一个变种,其利用网络协议中自适应机制的设计缺陷发动攻击,具有较好的隐蔽性。LDoS攻击具有周期性和平均速率低的特点,这导致传统DoS攻击检测方法难以检测LDoS攻击;其次,现有的LDoS攻击检测方法普遍存在检测准确率不高和自适应能力不足的缺点。因此,LDoS攻击已对网络安全形成了严峻的威胁,对其检测方法进行深入的研究具有重要的理论价值和现实意义
随着信息技术和多媒体传输的普及和广泛应用,秘密信息的保护和多媒体安全问题引起了人们的普遍关注。在包括文本、图像、音频和视频等数字媒体中,以数字图像得到最为广泛和便利的应用,其具备内容丰富,视觉效果佳,占用空间小的特点,因此基于数字图像的秘密信息隐藏具有更重要的研究价值。目前数字图像中的可逆信息隐藏仍然存在失真度较大,嵌入率过低的问题,尤其是在加密图像中,因为像素之间不存在冗余性,所以面临着更大的挑
学位
随着物联网技术的发展,RFID作为其关键技术得到了广泛的关注和应用。在物流以及仓库管理等物品管理应用中,所管理的物品不可避免的需要经常移动。物品的移动会造成库存的变化,加大了管理的难度。将RFID应用于这些领域的一个重要性难题是如何在动态复杂的环境下对系统中的标签进行高效监测,从而实现对物品的高效管理。本文主要围绕动态标签数量估计、标签搜索这两类标签监测问题开展研究工作,主要贡献总结如下:  针对
随着各种数字媒体记录设备的普及,数字图像已经成为人们日常生活中传递和获取信息的重要载体。与此同时,功能强大且易操作的媒体编辑工具的快速发展,使得数字图像的修饰和编辑越来越便捷。因此,面对日益严重的图像篡改形势,迫切需要发展相应的取证技术,进行数字图像真实性和完整性的验证。图像被动取证技术通过分析图像自身固有特征,实现对数字图像的真实性、完整性检测。作为图像取证领域的新兴分支,图像操作链取证是信息安
学位
射频识别(RFID)是一种能够有效的感知和收集信息的非接触式自动识别技术,普遍应用于仓库管理等场景。在RFID系统中,RFID阅读器通过无线射频信号识别和收集RFID标签的相关信息,而读取标签的吞吐量则是衡量系统工作效率的一项重要指标。大型RFID系统通常需要部署多个阅读器来对监控区域进行全覆盖,而阅读器引起的信号冲突问题很大的限制了系统的读取效率。如何有效地协调多个阅读器共同工作对于RFID系统