论文部分内容阅读
复杂事件处理技术对接入事件流进行分析,直接从原始事件中提取出更高层次的信息,并触发下一步的行动,被广泛应用在多种领域,如物联网、金融交易、网络流量监控等。随着事件源种类增多、待处理事件数量增加、事件之间关系日益复杂,单机部署的复杂事件处理系统由于性能和扩展性限制,难以满足大规模的实时应用场景。分布式实时流计算技术将一个任务分发给多台服务器同时进行计算,由分布式计算框架负责任务分配、处理结果交换等过程,具有高可靠性、高扩展性、高实时性等优点。论文将复杂事件处理与分布式实时流计算框架进行结合,设计实现了分布式复杂事件处理系统。论文的主要工作分为以下三方面:首先,论文设计实现了基于分布式实时流计算框架Storm的复杂事件处理引擎。论文基于Storm开发了多种事件处理操作组件,引擎接收事件流和事件处理规则,根据规则组合不同的组件对事件流进行实时检测。这些组件可以在Storm集群的多个处理节点上运行,事件流在不同节点完成过滤、组合、转换等操作,以获取复杂事件检测结果。其次,论文基于以上复杂事件处理引擎,设计实现了 B/S架构的复杂事件处理系统。系统包括任务配置模块和规则构建模块,用户将事件规则提交给任务配置模块,规则构建模块可自动完成事件规则构建、拓扑构造、任务提交等功能,从而简化了复杂事件处理引擎的使用流程,提高了其易用性。最后,论文对分布式复杂事件处理系统进行了性能测试。通过调整工作节点数量构建了不同Strom拓扑,对系统的吞吐量和处理时延进行测试。实验结果验证了将分布式实时流计算引擎与复杂事件处理技术结合以获取更高处理性能的可行性。