大数据时代的来临,为数据的实时处理技术带来了巨大的变革和挑战,在这个背景下,D-Stream作为D-Ocean非结构化数据管理系统的流式处理子系统,为基于海量数据实时处理的应用提供给了一套通用的、可靠的、可扩展的分布式计算框架。D-Stream系统的实现基于一套流式处理通用框架设计,借鉴了S4, Storm等众多开源流式处理平台的先进思想。它的功能结构主要包含三大部分：首先是一套简洁开放的任务模型,通过D-Stream任务模型,应用能够根据需求动态地定制任务拓扑。其次是一套可靠稳定的流式处理引擎,保障数据在计算任务间快速透明地传输,使不同的任务可以高效地协调工作。最后是一个高可用的调度框架,通过有效调度计算资源,充分发挥集群的计算能力,并在消息积压时提供高效的负载分流机制。围绕这三大问题,本文描述了用D-Stream任务模型为现实应用建模的方法。就D-Stream实现部分,介绍了D-Stream组件架构和对称式调度框架,重点描述了流式处理引擎实现中用到的相关算法和设计模式,并针对D-Stream系统的各方面特性给予了全面评估。最后本文通过D-Ocean CBIR勺应用案例,验证了在海量数据的实时应用中D-Stream系统的优越性。