论文部分内容阅读
针对“落伍者”的选择问题，提出利用故障诊断领域内通常使用的异常检测模型来选择“落伍者”的方法。首先，利用异常检测算法来发现集群中的“慢节点”；然后改进MapReduce任务分配算法和推测执行算法，不再给“慢节点”分配任务并将“慢节点”中的任务分配至有空闲任务槽的正常节点中。在改进的推测执行算法中，因相同网段内的节点通常物理邻近，可提高数据传榆速度，首次将“慢节点”中的任务分配至同网段的正常节点中。以便数据传输。实例验证结果表明，使用异常检测算法后可迅速检测出异常节点，且与Hadoop．LATE算法相比，处