随着大数据时代的到来,实时处理大规模数据流成为亟待解决的重要问题。为了满足实时性的要求并确保处理数据流的稳定性,很多企业用户采用了各种分布式流处理系统架构或平台,它们提供的基本功能是将流处理应用程序作业任务分配给当前可用的物理资源并在这些资源之间路由数据。对于很多分布式流处理框架来说,如何将应用程序中的任务调度到物理集群上是主要解决的问题之一。目前分布式流处理系统关于延迟约束的调度算法很多关注的是计算密集型的场景,对于系统延迟考虑了任务所需计算资源以及任务的处理时间等因素,往往忽视了任务间传输时间对流处理系统延迟造成的影响。而且,当前许多流处理系统的默认调度策略缺少对任务资源需求以及物理集群资源可用性等因素的感知,在集群资源的利用率上效果不佳。因此,对流处理系统而言,如何在满足实时性和资源要求的情况下,最小化使用物理集群资源是一个亟需解决的问题。此外,在流处理系统运行的过程中,数据流达到速率是在动态变化的,当速率波动较大时,应用程序中任务可能会出现过载的现象,导致系统延迟增加,违背了实时性的要求,如何适应数据速率波动,调整系统的计算能力以满足延迟约束也是本文的主要问题。在本文中,为了满足流处理系统的实时性要求,首先,本文将任务调度问题建模成最小化使用资源的优化问题,该问题中考虑了集群中计算资源可用性、任务的工作负载、任务节点的特征以及任务之间的传输延迟等因素。针对该优化问题,本文提出了两种启发式的流处理调度算法:AHA算法和PHA算法。AHA调度算法从流处理应用程序的拓扑结构特点出发,致力于减少流处理系统中的传输延迟。PHA调度算法分析了关键路径的延迟对整体延迟的影响,通过调整关键路径的延迟保证系统的实时性要求。而且在模拟实验中,本文采用了三种类型的流拓扑结构,并通过对比实验来验证两种启发式算法可行性及准确性。从实验结果发现,本文提出的启发式调度算法能够保证流处理作业实时性,同时使用较少集群资源。其次,针对流处理运行过程中,数据达到速率波动特征,本文通过使用排队论方法将数据在应用程序算子任务内部等待时间与任务处理时间形式化为延迟预测模型,在此基础上,根据延迟预测模型凸函数的性质,预测算子任务的最少并行数量。并且,本文将动态速率变化引起的调度问题建模成最小化优化问题,提出并设计了最少算子并行任务数的预测算法以及动态资源调度算法DST。其中,DST调度算法的主要目标是在满足用户延迟约束的条件下,最小化使用集群处理器内核资源。除此以外,该算法能够在流处理应用程序达到临界触发条件或者满足时间调度周期时触发执行调度,而且在数据流平均到达速率较低的时,为了提高资源的使用效率对资源进行整合。最后通过模拟实验的方式对本文提出的动态资源调度算法DST进行测试与评估,在实验中,本文采用了真实数据集Memetracker及模拟数据集两种数据,并利用两种算法进行了对比测试。通过实验结果分析,发现DST调度算法能够较好地适应数据流到达速率的变化,在满足延迟约束以及提高资源利用率的方面效果显著。