论文部分内容阅读
目前的e-Science研究越来越依赖于大规模科学应用程序和软件工具对海量数据的分析处理能力及网格环境中高性能资源的计算能力,作为一种帮助科学家进行复杂流程组合和流程自动运行的管理平台,科学工作流管理系统(Scientific Workflow Management System, SWfMS)在科研过程中发挥着越来越重要的推动作用,而科学工作流(Scientific Workflow, SWF)的相关技术也逐渐成为当今学术界的研究热点。目前多个大型e-Science中心分别开发了面向特定领域的SWfMS,但这些系统缺乏统一标准且系统间的互操作也比较困难,在新的领域中进行复杂流程管理时需要对已有系统进行大量修改或重新开发,为了充分利用科研资源并达到多系统间互操作的目标,研究一个标准统一的通用型SWfMS成为目前SWF管理中亟需解决的问题之一。同时,随着越来越多网格资源的加入,目前对计算资源的付费使用也成为一种必然趋势,在这类效用网格中对工作流进行调度时需考虑工作流的执行时间、执行费用及可靠性等多个目标,这些目标间相互联系且相互制约,如何在多个目标间进行权衡并达到多目标综合性能的最优值也是近几年的研究热点之一。在深入分析SWF管理及调度的研究现状与不足的基础上,本文围绕通用型SWfMS的相关内容及工作流在效用网格下的有效调度展开了大量研究,主要贡献如下:(1)分析并总结SWF的相关技术和研究现状鉴于SWF刚刚起步的状态,对目前国内外已有的相关工作进行全面总结和比较。分别从SWF模型、表示、语言及调度等多方面对其关键技术进行全面总结、比较与评价,并对近两年的最新研究和国内的研究现状进行分析,为全文工作的开展奠定基础。(2)设计并实现基于BPEL的通用型SWfMS针对目前多个SWfMS间互操作较困难的缺点,研究通用性较好的BPEL (Busicess Process Execution Language)模型,以集合预报为应用背景,设计并实现基于BPEL的通用型科学工作流管理系统——集合预报科学工作流管理系统(Ensemble Prediction Scientific Workflow system, EPSWFlow)。系统利用BPEL中丰富的控制语义、对Web服务的全面支持等优点实现了对预报流程中各服务的按需组合与调度;并采用JSDL (Job Submission Description Language)对实验环境中无法进行Web服务封装的大量遗留应用程序进行描述,通过基于Web的标准作业调度软件GridSAM对这些作业进行调度与监控,解决了遗留应用程序的集成问题。(3)研究通用型SWfMS的动态适应性针对SWF的动态适用性需求,分别从SWF模型,SWfMS的系统实现及执行期的系统容错等方面对SWfMS的动态适应性进行研究。提出SWF四层抽象模型,在不同抽象层上实现对Web服务和底层遗留应用程序的抽象描述,并在执行过程中由SWF引擎动态选择服务,对资源进行实时绑定,以支持SWF的动态适应性;此外,研究SWF执行期的系统容错,在EPSWFlow中实现三种容错策略,有效提高系统在执行过程中的异常处理能力,进一步提高系统的动态适应性。(4)研究效用网格下截止期约束的工作流费用优化调度问题工作流在各种环境和不同条件下的任务调度是工作流研究领域的重要内容之一,其调度性能的好坏直接影响系统的运行效率。在对资源进行付费使用的效用网格中,针对截止期约束的工作流费用优化问题提出三种有效的调度算法:基于时序一致的截止期约束逆向分层算法TCDBL (Temporal Consistency based Deadline Bottom Level)、基于路径平衡的工作流费用优化算法PBCO (Path Balance based Cost Optimization)及基于优先级规则BFTCSTM (Best Fit based on Time-dependent Coupling Strength and Temporal Mobility)的迭代算法,三种算法从不同角度对工作流的费用优化问题进行研究,均取得了很好的调度效果。(5)研究动态资源下基于优先级因子的工作流时间-费用优化调度问题在资源状态动态变化的网格环境中,工作流执行完成之前很难对工作流的执行时间或执行费用进行准确预测,因此研究基于优先级因子的费用优化策略对工作流的执行时间与执行费用同时进行优化。在分层策略的基础上提出三种实时调度算法:基于逆向分层的Sufferage算法(BLSuff)、基于逆向分层的Min-Min算法(BLMin)及基于逆向分层的Min-Max算法(BLMax)。三种算法均基于逆向深度对任务进行分层,设计基于优先级因子的衡量标准对任务逐层进行调度,达到了同时优化工作流执行时间与执行费用的目标,取得了良好的调度效果。综上所述,本文针对目前SWF技术中亟需解决的几个关键问题进行了研究,并提出有效的解决方案。本文的研究对于推动复杂科学计算流程的组合和管理,并最终推动科研进程的发展具有较高的理论价值和应用价值。