【摘 要】
:
由于传感技术和通信网络的发展,数据收集和存储的规模在飞速增大,如何从海量数据中挖掘出有效的信息是当前的研究热点。目前较为普遍的方案是采用机群系统和分布式框架来提高
论文部分内容阅读
由于传感技术和通信网络的发展,数据收集和存储的规模在飞速增大,如何从海量数据中挖掘出有效的信息是当前的研究热点。目前较为普遍的方案是采用机群系统和分布式框架来提高数据处理的效率。并行计算是提高计算机系统计算速度和处理能力的一种有效手段。MPI在学术研究领域应用较多,而在商业领域,云计算系统大多采用MapReduce并行编程模型。MPI是目前开发并行应用程序的主要编程模型——消息传递编程模型的事实标准。然而MPI代码重用率低,机器扩展性能差,对编程人员的要求高。MapReduce是谷歌提出的一种并行化编程框架。然而用户很难对复杂数据进行处理,用户不得不编写大量的MapReduce任务,结果往往导致执行效率低下。因此,为了解决以上问题,本文提出了基于轻量级虚拟机并行计算框架,该框架底层使用轻量级虚拟机Contiki系统作为计算单元。本文在并行计算框架相关理论的基础上,对Hadoop的分布式计算模型MapReduce和分布式文件系统HDFS进行分析和研究,分析了轻量级虚拟机Contiki系统的优势和应用价值,设计基于轻量级虚拟机Contiki系统的并行计算框架,框架不需要编写大量MapReduce,占用资源少,完成了该框架中的轻量级虚拟机设计,客户端模块,服务节点模块,控制节点模块,计算节点模块和并行策略等部分关键技术的设计,提出了基于负载权值的负载均衡算法,并在Linux环境下实现并行计算框架。最后,搭建测试环境,通过实验与串行计算进行对比,分析不同计算数据规模,以及不同计算节点数量对性能的影响,通过实验与Hadoop进行对比,分析相同计算任务下的性能和资源消耗。可以看出,该框架相比串行计算加速明显,相比Hadoop消耗资源较少。
其他文献
随着虚拟现实技术的发展,3D影像技术被广泛应用于影视、动画、虚拟展示等众多领域。但是,3D图像往往存在着取景拍摄成本高、制作周期长的问题。为了提高3D图像的制作效率、降
随着企业经营环境的日益动态化和组织架构的日益扁平化,员工建言行为的重要性已经逐渐得到实践家和管理学家的广泛关注与重视。管理者越来越希望员工能够针对工作中的相关问
基于邻域的Top-N推荐算法利用隐式反馈数据建立排序模型,其算法性能严重依赖于相似度函数的表现,传统相似性度量函数在隐式反馈数据上会遇到数据过于稀疏和维数过高两个问题,
互联网的迅速发展促进了网络教学模式的优化升级,但也使得抄袭的方式和手段更加多样便捷,特别是在高校开展的计算机类课程中,代码抄袭的现象层出不穷,严重影响学生成绩评价以及教师教学质量。目前普遍使用的代码抄袭检测方法和系统并未涉及SQL代码抄袭检测。为此,本文对SQL代码相似度检测算法研究,以检测高校的数据库课程在线学习网站中学生提交的SQL代码数据中是否存在抄袭行为。论文完成的主要工作有:1)提出了一
我国褐煤等低变质煤资源储量丰富,炼焦煤资源短缺,通过改性提高褐煤的粘结性,用作炼焦配煤,对扩大炼焦煤资源有重大意义。煤改性工艺大多采用低温预热、水热处理或溶剂加氢增
Fe基非晶/纳米晶合金具有优异的软磁性能,如高的磁导率和饱和磁感应强度以及低矫顽力,因此在电工电子设备如变压器、互感器、电抗器等得到广泛应用。本文采用单辊甩带法制备新型Fe85-xB13+xSi1Cu1非晶合金条带,经退火处理得到Fe基纳米晶条带,分析了非晶合金晶化机制,研究纳米晶合金的软磁性能和机械性能,得出以下主要结果:Fe85-xB13+xSi1Cu1在连续升温过程中表现出两步结晶的特征。当
图像融合技术在当今高分辨率获取、宽视场视频处理领域具有重要应用。然而,目前大多数图像融合方法基于软件实现,难以满足视频实时处理的需求。本文结合SOPC系统软硬件协同设
随着科技进步和社会的发展,人们对高分子材料的性能要求越来越高,如足够的力学性能和优异的热稳定性能。为了满足要求,需要对聚合物材料进行改性设计。20世纪80年代末,纳米增
多发性硬化症(Multiple Scleros,MS)是一种中枢神经系统慢性炎症性脱髓鞘性疾病,目前临床上没有满意的治疗药物。因此,探索新药物对于改善MS的治疗非常重要。实验性自身免疫