大规模关系网络价值计算研究与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:zhuifeng188
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系网络是人或其它对象通过相互联系和影响构成的结构或系统,通过对关系网络的研究,有助于发现仅依靠个体信息无法获得的重要信息。关系网络中节点价值计算是对关系网络中的对象重要性评估的研究,在许多领域具有重要意义。随着社会进步,尤其是进入大数据时代,需求不断增长,数据规模和数据复杂度也急剧增长,对针对大规模关系网络的价值计算的研究提出了新的需求和挑战。  有许多研究者开展了相关研究,对价值计算提出了价值评价指标和计算模型,对大规模网络计算提出了高效的分布式图计算框架,但大多数都只提出计算模型,或者只关注图计算系统的设计实现,很少有完整的研究、实现与应用的整体解决方案。本文工作不仅对价值计算方法进行了研究,提出了基于分布式计算技术的价值计算高效实现方法,而且设计实现了大规模关系网络分析系统,并在实际项目中得到了应用。  首先,本文对大规模关系网络价值方法进行了研究,提出了一种结合静态价值计算与动态价值传播的价值计算方法,该方法首先通过节点属性进行静态价值计算,然后通过节点间相似性与节点行为,提出价值传播计算模型,最后将静态计算与动态传播结合形成一个综合模型。通过新浪微博数据上的实验,验证了本文模型和方法的有效性。  其次,基于Spark框架,提出了适合大规模关系网络的分布式价值计算实现。在对分布式图计算技术研究基础上,利用Spark和GraphX框架进行了分布式实现。实验结果表明,本文提出分布式计算方法在亿级规模的关系网络上达到了可实用的性能效果,能够应用于大规模关系网络的价值计算,为应用系统设计奠定了基础。  最后,本文将价值计算的研究成果应用到系统设计中,设计实现了一个层次清晰、可扩展的大规模关系网络分析系统。该系统在实际项目中得到了应用,具有一定的应用价值。
其他文献
随着电网建设的步伐加快,电力企业的电网结构日趋庞大,采用传统的方式管理电网已经难以满足管理与业务需求。运用现代计算机管理手段,大力开发和利用企业的信息资源建立管理信息
随着互联网和分布式技术的发展,传统关系型数据库已经不能满足现有应用对大数据存储、高并发、高吞吐量、低延迟方面的要求,分布式顺序表应运而生。现有分布式顺序表都是以磁盘
KDD(Knowledge Discover in Databases)是目前人工智能和数据库相交叉的一个热门研究领域,已受到不同领域研究者越来越多的关注。数据挖掘(DataMining,简称DM)是KDD的一个十分
传统的办公软件大多采用的是各自独立的封闭文档格式,这样的格式不仅使得文档的通用性不强,也不利于文档的长久保存,甚至还存在安全上的隐患。因此,开放的文档格式标准成为了必然
传统的PC平台与有线网络已不能满足人类随时、随地对信息获取的需求。传统的手机类通讯终端设备,其体系结构是完全封闭的。任何一家移动通讯终端厂商的设备都由基带,射频,协
由于散热、工艺等的限制,单个处理器核的性能已经难以大幅提升;而功耗的限制又带来暗硅问题,即芯片上不是所有的电路都可以同时运行。为了在有限的供电条件下获得更高的计算性
学位
高等院校加快信息化建设步伐的手段,主要是通过各种方式引进大量电子资源,提供丰富资料。由于某些限制,许多资源只能通过授权后校内网的IP地址访问,随着校外对资源的需求日益
随着软件开发技术的发展,软件建模已经成为其中的一个重要的组成部分,而软件建模需要软件建模工具的支持。当前,软件建模工具的功能在不断的变化发展;同时,软件应用的领域也
互联网正在快速地发展,面对信息的海洋,如何从中发现、选择和查询所需要的数据和服务信息就成为一项重要而迫切的研究课题。为了适应这种需求,提出了“语义Web”和”Web服务”的