异构Flink集群中负载均衡算法研究与实现

来源 :南京大学学报:自然科学版 | 被引量 : 0次 | 上传用户:JIADOS
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,
其他文献
本文从风景区规划的发展和要求入手,通过分析风景区控规信息系统需求,建立风景区控规管理信息系统的总体框架;结合太极洞风景区从系统功能与系统结构等方面进行了系统的总体
互联网时代的到来为图书馆发展带来了新的发展机遇,“互联网+”为高校图书馆带来转变,文章提出了通过做好整体设计工作、完善信息管理技术、实现资源深度融合、建设智能化平
[摘要]对青年学生进行马克思主义理论教育,是由我们社会主义国家的性质和办学宗旨所决定的,是帮助学生树立正确的世界观,培养社会主义建设者和接班人的主渠道。面对当前的国内、国际环境的深刻变化和网络技术的发展,高校的马克思主义理论教育要实现创新。这不仅需要观念更新、内容创新,还要方法创新、课堂教学创新,实现马克思主义理论和谐育人的终极目标。  [关键词]马克思主义 理论教育 挑战 创新  [作者简介]秦