流式计算相关论文
文章扩展了Spark-Streaming的功能,使之能够支持地学流式计算场景下的时空查询。首先,设计并实现了一个中间件,该中间件提供了对空......
为推动低延迟、高可靠性及可扩展的大数据流式计算系统的发展，介绍了大数据流式计算及其特征。与传统的批处理方法相比，其在时效性、......
随着物联网技术的兴起,工业企业中机器和传感器等设备每时每刻都在产生海量的设备日志数据。这些数据具有实时性强且没有止境的特......
为了提高无人船路径规划的效率,利用流式计算高实时性模式,在云端构建流式计算框架,分布式完成路径规划。基于5G通信,云端与无人船......
百度凤巢是百度的商业广告系统,依靠每天数亿次的搜索量,为百度和推广商户带来了双赢的局面,是非常重要的收入来源。但是从线上的......
从分析宝日希勒露天煤矿智能运输安全生产监控系统数据存储及计算存在的主要问题入手,研究并确立了宝日希勒露天煤矿安全生产大数......
近年来,随着煤矿信息化程度的提高,采、掘、提、运、通等系统设备在生产过程中产生了海量的安全生产管控数据与经营管理数据,在智......
车辆轨迹重建是指根据车辆的离散GPS轨迹数据推断其在实际道路网络中的连续移动轨迹的过程。车辆轨迹重建主要包括两个处理阶段,即......
第五代移动通信技术（5G）作为新一代信息通信技术,已经成为全球各界高度关注的热门主题。相比于4G,5G网络提供了十倍于4G网络的信息传......
当前市场主流处理器的发展趋势是多核化／众核化,即通过提高处理器核心数目保持计算性能的持续增长。最新的图形处理器已经能够提高......
实时计算与流式数据处理为实时推荐、实时热度统计、股票实时交易等业务应用提供了有效手段。Storm实时计算框架是开源的分布式实......
伴随信息技术的快速发展,作为信息技术核心的信息网络也以超乎想象的速度不断发展壮大,影响着人们的学习、生活和工作方式。在纷繁......
当前软件系统朝着云原生、微服务的方向发展,这使得云服务模块众多、模块之间交互复杂,云服务的可靠性保障变得十分困难。一般来说......
目前,推荐系统无论是在电子商务还是在社交网络都占据着举足轻重的位置。传统的个性化推荐系统虽然能为用户提供准确的推荐服务,但......
随着互联网行业的高速发展,网上购物已经成为了人们日常生活中必不可少的购物方式之一,与之而来的信息超载问题显得格外突出。为了......
随着多接入边缘计算(MEC)与5G网络技术的融合,处理实时复杂数据变成边缘节点的重要任务。流式计算能够高效处理通过性数据,适合应......
近年来,光纤光栅阵列传感技术逐渐应用于安防系统中,但光栅阵列伴随着噪声多,容量大、信号信息难获取的特点,使得安防系统的监测受......
移动边缘计算技术将数据中心的处理能力下沉到距离用户更近的移动接入网的边缘,减少业务的传输时延,提高用户体验。作为大数据时代......
随着信息化产业的快速发展,越来越多的行业正面临着数据量巨大、数据种类复杂、数据处理速度要求更快、数据计算准确性要求更高等......
学位
随着云计算、物联网、人工智能和5G等新兴信息技术的不断发展,传统的批处理计算模式无法适用于海量实时数据的处理和分析,基于流式......
学位
本文针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析,并从系统架构的角度,给出了大数据流式计算系统容错......
学位
互联网的高速发展,涌现出大量的数据分析需求。传统的数据处理方式只能在数据积累后在磁盘中计算,并且运算时效长,数据量有限。以......
云计算、移动互联网和社交网络等新兴信息技术和应用模式的迅速普及,致使全世界数据量剧增,推进人类社会进入海量数据时代。如何从......
大数据流式处理作为新的容错、分布式的实时计算系统,其主要体现在分布式远程的调用、实时分析、在线机器学习、持续计算以及数据......
流式计算是大数据处理领域中一类重要的计算形态。流式大数据处理平台以实时产生的数据作为输入,数据源源不断地流入到相应的处理......
针对流式计算系统计算和存储能耗过高的问题,改变流式计算中内存的存储状态,提出了一种内存节能策略(ESFM).首先,明确内存中不同状......
近年来,为强化路面动态监控,各级公安交通管理部门开始大规模建设车辆智能监测记录系统(以下简称卡口系统),随着卡口系统接入的卡......
期刊
作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制......
随着大数据与人工智能技术的飞速发展,高性能,实时性的流式计算系统逐渐取代传统基于数据仓库的批量计算系统.Apache storm作为一......
目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪（Mingant U Sp Ectral Radioheliograp......
计算机和互联网的飞速发展推动世界进入了大数据信息时代,传统技术已经不能满足海量数据处理的需求,很多大数据的处理技术和框架不......
阐述了一种高性能分布式复杂消息处理引擎的设计方案,这种引擎改进了传统复杂事件处理过程(CEP)处理引擎扩展性问题。新的设计方案......
复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复......
流式计算形态下的大数据分析一直是当前需要解决的问题，而且研究成果和实践经验较少。随机森林方法是目前应用较多的分类算法，但在流......
为满足企业决策者低成本高效率的通过获取、分析用户各种行为实时产生的各类信令事件的要求,提出了Flume-ng+Kafka+Storm+Esper+Zo......
互联网产业的迅速发展在带来数据规模爆炸式增长的同时,也使大数据呈现出越发鲜明的流式特征,传统的基于MapReduce的批处理模式难......
天气是人们出行、耕作、活动等最关心的事情,好的天气往往给人们带来好的心情。在古代,古人只能依照一些距离相对较近的事物作为参......
随着Web服务技术在分布式系统的广泛应用，Web服务正逐步成为Internet环境中资源封装的标准形式，Web服务粗粒度、松耦合等特性在增加......
互联网时代，网络舆情的庞大数据规模和舆情分析的计算复杂性，使对网络舆情的分析和实时掌控变得愈发困难。面向快速、不断产生的网络......
随着互联网的迅猛发展,越来越多的互联网广告开始出现.互联网广告以其精准,快速,高效的投放,给广告主带来了丰厚的回报.通过对广告......
数据规模的快速增长给大数据的分析处理带来了巨大的难度和挑战,其愈发呈现出无限性、无序性等鲜明的流式特征,传统的批量处理模式......
Storm默认任务调度采用轮询算法将任务平均分配到每一个工作节点,但是在多个拓扑提交的情况下Storm默认调度将任务随机分配到工作......
校园能耗监测与预警系统一期构建了数据上报、在线监控、图表分析、能耗指标分析、预警通知等系统功能。本文主要介绍在系统运行过......
作为新一代大数据流式计算框架,Heron忽略了任务实例之间不同通信方式的差异以及节点资源利用率不均衡的问题导致系统性能下降。针......
大数据环境下,基于海量数据,针对用户画像的精准度和实时性问题,对实时用户画像系统进行了研究工作,提出了一种采用流式计算思想的......
随着计算机技术的快速发展,各领域对数据处理速度提出更高要求,传统的批量计算技术已经无法满足数据处理的实时需求,新型的流式计......
船舶进出港与靠离泊过程是船舶航行的重要风险环节,探讨船舶进出港与离靠泊操作的危险预控是水运交通行业的重要课题。研究发现,人......
近年来,由于互联网的普及以及上网人数的增长,人们网络活动产生的数据量也呈现了爆发性地增长。大数据在为各行各业的发展提供帮助......
