基于消息传递机制的MapReduce图算法研究

来源 :第28届中国数据库学术会议 | 被引量 : 0次 | 上传用户:fostervfr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  单机运行环境难以满足基于海量数据的大图算法对时空开销的需求,如何设计高效的面向云计算环境的分布式大图算法越来越受到人们的关注,MapReduce作为云计算的核心计算模式受限于易并行(EP)计算模型的制约不易表达图算法。文中突破了MapReduce基于易并行计算的假设,增强了MapReduce既有的编程规范,新的大同步(BSP)计算模型既能保证兼容旧的MapReduce作业可以无改动的运行,同时引入消息传递机制允许变化的状态数据在并行任务的超级步间进行交互。系统提供高度灵活的消息自定义接口,针对不同应用需求设计了轻量级和重量级两种自适应的消息传递机制,更高效地支持有数据交互需求的包含迭代处理的一大类图算法。在真实大规模图数据集上的实验结果表明,相比于原始的MapReduce作业外部链式处理,该文提出的BSP模型下的内部超级步迭代计算模式大幅降低了大图算法的处理时间。
其他文献
应用功效指数法建立了综合评价环境污染控制设备和技术的数学模型,并且把总功效指数作为环境控制设施的分级标准。 A mathematical model for comprehensive evaluation of e
在对大学生进行人才培养过程中,不仅要注重对于学生知识水平道德情操进行培养,更要关注学生的体能素质,应该帮助学生通过恰当的体能训练提高身体健康水平,使大学生在未来的成
在特殊教学中,教师不仅要渗透教材内容的解读,还要重视学生的身心发展特性,在教与学的优化中实现教学水平的提升,从而为特殊教学的发展提供质量保证,在心理健康教育和德育的
随着经济的发展,地铁在人们的出行中已经占据了重要的地位,多数人在出行时都会首选地铁.因此,地铁乘务员以及地铁司机应提高对地铁安全的重视程度,从而保障地铁的正常运行,保
促结缔组织增生性纤维瘤是一种新型的肿瘤,2002年世界卫生组织肿瘤分类中列为良性纤维母细胞肿瘤或肌纤维母细胞性肿瘤[1],一般见于浅筋膜组织内或者位于骨骼肌的深面,极少见
“宝塔”菜花又称“富贵菜”“珊瑚菜花”,是花椰菜的一个变种,近两年从欧洲引进。其形状奇特,口感脆嫩,用刀切开摆在餐盘,高贵典雅,并且营养丰富,产品深受宾馆、饭店及中高档消费者
随着我国经济的不断发展,铁路建设方面也取得了较为辉煌的成就,并且相关技术水平的应用越来越成熟.其中铁路通信技术就是一种对于铁路通信网络非常重要的技术.本文将重点就铁
随着国民经济的发展,作为现代技术服务业的检测机构越来越受到社会的重视,对国民经济发展的贡献越来越大.但我国加入世贸组织后,国外检测机构将允许进入国内,挤占国内市场,这
目前,我国的企业发展迅速,习近平同志说过,我们要想实现十八大确立的各项战略目标,关键在党,关键在人.党建工作为企业发挥自身优势提供了有效途径,企业的经济属性要求不断加
在经济发展过程中,衡器属于重要的计量器具,其直接影响着交易双方利益、成本.衡器主要是通过实物重量对物体质量进行确定,或是对物体参数进行测量.在交易市场、工业制造、科