论文部分内容阅读
近年来各领域应用的数据量和计算量需求都大幅增加．传统单个计算设备往往无法胜任如此规模的计算量，因此越来越多的领域开始尝试使用并行计算技术．分布式并行计算是进行并行计算的一种主要方式，常见的框架为基于MapReduce的Hadoop。提出一种基于集群的通用并行计算框架，参考“管道过滤器”模式，对三个模块“任务划分”、“控制器节点”和“计算节点”都进行详细设计描述，相对于Hadoop，对有向无环图型任务由更好支持，并且支持迭代型任务，另外增加缓存机制，减少系统耗时，一定程度支持实时性应用。