近年来,云计算因其高性能、高可靠、可扩展等特点在海量数据计算中得到了广泛应用。在信息技术飞速发展的条件下,海量数据处理成为计算机科学领域的新挑战。MapReduce作为一种新兴的分布式计算模型,它的主要特点在于封装开发传统并行分布式程序的细节,实现业务逻辑程序的编写与分布式实现细节的分离。Hadoop作为MapReduce计算模型的开源实现,得到了各界的广泛关注,Hadoop调度算法主要克服的是集群资源利用率,用户作业的运行时间等难题。云环境下Hadoop作业调度的研究给学术界和工业界带来了新的挑战。改进和提高作业调度能力,对提高Hadoop的性能和资源利用率具有重要意义。首先,介绍了云计算的概念以及体系结构,对开源平台Hadoop中的MapReduce编程模型和分布式文件系统HDFS (Hadoop Distributed File System)进行了深入研究,详细分析了Hadoop作业运行时机制以及现有的调度算法。其次,针对基于优先级的加权轮转调度算法没有考虑系统负载水平,同时不能充分利用异构集群中计算节点的处理能力的问题,提出了一种改进的优先级调度算法(Priority Based Multi Scale, PBMC), PBMC算法对集群中的计算节点的计算能力进行判断,并按照计算能力的不同进行排序,考虑系统整体的负载水平,在保证系统整体负载处于合理状态时,将优先级较高作业中的任务分配给计算能力好的节点。实验结果表明PBMC算法充分考虑了集群中节点性能的不同,减少了集群作业的完成时间,进一步提高了集群资源的利用率。最后,通过对云计算的开源平台Hadoop调度算法进行深入研究,针对用户提交服务的随机性、趋同性以及云计算系统的可靠性和集群资源的利用率的问题,利用排队模型建立云计算系统模型,采用集群中节点负载值来划分计算节点的可靠度。在对节点可靠性分类的基础上,提出了一种基于计算节点可靠度的Hadoop作业调度算法(Job Scheduling Based on Node Reliability, JSBNR)。JSBNR提出了一种计算节点可靠度评估模型,进而推出节点与任务的匹配方法。通过实验表明JSBNR提高了集群的可靠性以及资源的利用率,同时,具有良好的可扩展性能。