集群资源管理器作为基础设施中的重要组件,在集群环境下将各种资源抽象成共享资源池,并在此之上将计算任务调度至各个计算节点进行分布式运算。高效的集群资源管理器旨在提高资源利用率,提升作业性能,保证任务间的公平性,从而降低集群运维的成本。当前研究工作大多关注调度过程中资源分配时的公平性、资源碎片等问题,而忽略任务实际运行中的资源使用状况。然而根据统计数据表明,当前集群的实际资源利用率并不高。其主要原因是用户在资源配置时通常使用峰值资源量,且大多数资源管理器未考虑任务运行中资源使用的动态性特征,从而导致集群资源分配率和实际利用率间存在差距。为解决该问题,本文深入研究了计算任务对资源的使用特征,首先提出一种基于超量分配的计算集群资源分配技术,利用资源回收和压缩机制对空闲资源进行重用以提高资源利用率。其次,针对超量分配后可能带来的任务间资源竞争,本文还设计了一种资源超售过程中冲突感知的任务调度方法。具体的工作包括:1.根据计算任务普遍存在的阶段性和弹性特征,利用任务执行时的历史资源使用数据进行在线预测,确定任务资源合适的压缩比例,回收额外的空闲资源进行资源超量分配。基于两层调度框架Mesos设计了该种资源超量分配算法,该算法能够在利用超售的机制提高资源利用率。2.为了解决资源超售后的任务竞争问题,针对Spark等计算框架设计了一种冲突感知的作业调度方法。该方法根据节点动态变化的超售资源总量,实时调整计算任务的数量,最小化因超售导致的资源冲突;若资源紧缺或冲突不可避免,则结合延迟调度中数据本地性的等待时间模型合理选择使用超售资源的时机,减少平均作业完成时间。3.在对Mesos和Spark拓展实现的原型系统上,分别利用工业界的视频转码任务和大数据基准benchmark对前述超售分配技术和冲突感知任务调度方法进行验证,结果显示了该技术可有效提高集群资源利用率,避免超量分配后任务间冲突导致的作业执行效率降低。