论文部分内容阅读
【摘 要】随着3G移动通信技术在我国不断演进和完善,逐步走向商用,其高至2MHz的带宽尤其适合于无线视频传输,这将为无线视频监控提供更加强有力的支持。本文对移动视频监控系统的相关技术进行了研究,提出一种基于移动流媒体技术的视频监控系统构建方案,该系统通过对移动流媒体传输控制实现了移动通信网络的无线视频监控。移动视频监控系统能够支持在任意地点上传实时图像、在任意位置接收远方图像,从而实现了随时随地的视频监控应用。
【关键词】移动流媒体 视频监控 RTP实时传输协议 流媒体编码
一、引言
近年来,视频监控系统[1]发展迅速。视频监控系统能够将监控点实时采集的视频流[2]实时地传输给监控中心,便于监控中心进行远程监控,对突发事件及时指挥处理。但是我们也应当看到,基于传统的有线网络实现的视频监控存在着明显的缺点。这些缺点包括:布控网点受限制,布控网点工程量大,工程周期长,欠缺灵活性和移动性。
移动视频监控与传统网络视频监控相比,具有网络覆盖面广、没有空间限制、使用方便、实时性高等优点,因此有非常广阔的应用前景。使用移动视频监控系统,用户出行时可以方便快捷的看到重要交通路口的实时通行情况;在安装采集设备的家庭环境中,用户可以观察家中需要照顾的老人或儿童的当前状况。当目标监控点与监控管理中心地理位置相距较远时,或者目标监控点本身处于移动状态时,使用传统网络监控会面临布线成本过高或者无法布线的问题,具有移动采集端的移动视频监控系统可以充分发挥其移动优势。移动视频监控突破了原有视频监控的空间局限性,必将成为国内3G应用中的热点。
本文的研究得到“广东省科技计划项目省战略性新兴产业核心技术攻关(项目编号:2012A010701003)资助”,该课题对移动流媒体系统中的视频编码技术及移动流媒体相关协议进行了探讨,研究并设计基于移动流媒体技术的视频监控系统设计方案,从而实现不受时间和地域限制的实时视频监控。
二、移动流媒体概述
移动流媒体技术的构成主要包括三个部分:流服务器、播放器和编码器[3],并且缺一不可。传输移动流媒体在数据网络上,从音/视频源需要解决存储,媒体流传输,到网络端的媒体服务、编码/解码、到用户端的播放等问题。
实时的移动视频监控平台需要对实时性高的媒体数据进行大量的传输,从而使得研究需要涉及到网络传输协议怎样的选择,对媒体的传输质量来说不同的网络传输协议的影响较大。
由于TCP和UDP是传输层上的两种协议,用户数据包协议UDP是无连接的网络协议,而传输控制协议TCP是面向连接的[4]。面向连接的TCP的连接协议,将加重网络阻塞在阻塞重发机制中,从而造成严重的延迟,并且会使得对信道和Server端及的要求很高,所以实时数据采用TCP协议不太适合传输,而采用UDP协议则没有这些问题。
移动多媒体数据的实时传输可以采用RTP/UDP来实现,而对于移动流媒体协议主要包括实时流协议RTSP实时传输协议RTP与RTCP。实时流传输协议RTSP(Real Time Streaming Protocol)[5],是一个应用层协议在TCP/IP协议体系中,由Real Networks、网景公司、哥伦比亚大学共同提交的IETFRFC标准。对多应用程序来说该协议定义了怎样通过IP网络有效地传送多媒体数据RTSP位于RTCP和RTP之上的体系结构上,数据传输使用RTP或TCP完成;实时传输协议RTP(Real time Transport Protocol)[6]:是针对Internet上多媒体数据流的一个传输协议。RTP被定义为在一对一或一对多的传输情况下工作,其目的是提供时间信息和实现流同步;RTCP(Real time Transfer Control Protocol) 服务控制协议[7]是进行拥塞控制和流量控制的,并且于RTP一起使用。RTP本身并不能提供可靠的传送机制为按顺序传送数据包,拥塞控制或流量控制也不提供,这些服务依靠RTCP提供。
三、移动视频监控系统设计
本文设计的移动视频监控系统利用移动网络及局域网络相结合,依靠中心平台,实现统一界面、统一管理。系统采用数字信号与模拟信号相结合的方式,向网络传输高质量的监控图像,实现视频数据的上传与下调,以达到所有视频数据的共享。
移动视频监控系统结构如图1所示。
(一)身份验证系统负责对整个平台的用户权限、设备状况、联动策略、告警信息和操作日志等进行集中配置和管理,实现统一身份认证和权限控制。
(二)流媒体服务系统是移动视频监控系统中的核心,提供流数据的存储和转发功能,并且实现监控中心多客户端复用相同现场图像的流媒体转发管理和支持多级流媒体转发管理和调度,支持网关管理,降低网络带宽和设备负荷。
(三)存储管理系统通过网络获取系统中所有视频源的信息,存储到大容量的存储设备中。
(四)报警转发系统为所有系统管理的监控设备提供报警信号的接收和转发服务。
(五)手机客户端是直接面向用户使用的,包括核心控制层和基础服务层,其中核心控制层提供客户端的各项功能,包括流媒体播放和业务控制;基础服务层则提供对HTTP协议、RTP/RTSP协议、UDP协议的适配,以及调用操作系统的服务。
四、移动流媒体分发的实现
流媒体服务子系统是移动视频监控系统中提供视频流分发和协议网关的模块,它从前端节点设备获取监控视频流,然后分发给不同的用户,这样,无论多少用户同时访问该节点视频源,都只占用前端设备1路视频流的带宽,同时还提供不同协议的节点设备的控制协议解析转换功能。因此,移动流媒体服务子系统是移动视频监控系统的核心组成部分,它的主要是完成流节目的存取调度、传输以及管理等功能。 移动视频监控系统中的流媒体服务子系统的结构如图2所示。
(一)服务器核心:负责流媒体服务器的启动和关闭,负责流媒体服务器的参数配置,并且管理服务器的子系统。
(二)RTSP子系统:分析和处理RTSP请求,并且执行相关模块。每个RTSP/TCP连接都对应一个RTSP session,每个RTSPSession对象是一个处理RTSP连接的Task对象。
(三)RTP子系统:处理数据包的发送,通过RTP Session对象来管理。
(四)内容管理模块:管理RTSP请求以及与媒体源相关的操作。模块负责解析客户的请求,存取和解析支持的文件源,并且利用RTSP和RTP对客户进行响应。
(五)接口控制模块:提供用户的鉴权管理和认证管理以及URL路径管理。
(六)服务器管理模块:负责服务器的日常管理。
(七)基本工具箱:是整个服务器的通用代码工具箱,包括了线程管理、数据结构、网络和文本分析等。
本文研究的移动视频监控系统把命令数据包和多媒体数据包分离,前者采用TCP协议传送,后者依然使用UDP协议发送。采用这种网络传输方式可以让系统的多媒体流能够比较流畅的播放,控制命令也可以及时到达,能够满足系统设计要求。
五、仿真测试
本文在移动视频监控系统测试中的视频流采用H.264标准进行压缩,采用CIF格式,即大小为352*288像素的图像格式进行传输,局域网网络带宽为100MB,无线数据传输采用3G网络,整个过程测试只进行单个服务器的性能测试。
移动客户端在进行视频监控的情况如图3所示。
由于移动监控客户端可能会采用不同类型的手机,所以视频播放的质量会有较大区别,因此视频播放的质量可以分为:高清、清晰和正常三个档次。本文对移动监控系统采用的测试帧率分别为15帧/s、10帧/s、8帧/s的H.264音视频片断。具体的测试参数值见表1所示。
移动客户端的测试结果表明三种帧率的视频片断都可以实现视频监控,15帧/s播放效果较好,流畅度高,10帧/s的播放效果也相当不错。在实际播放过程中,15帧/s的片断虽然很清晰,但对于手机的解码性能提出了非常高的要求。8帧/s的视频源测试帧率不是很高,当时能够正常进行视频监控,该测试帧率能够运行在信号较弱和系统配置不高的客户端环境中。测试证明移动视频监控客户端在3G网络中能够流畅的播放8-10帧/s的H.264视频数据,从而满足移动视频监控的应用要求。
六、结论
由于传统网络监控往往会面临布线成本过高或者无法布线的问题,然而对于具有移动视频监控端的系统来说,能够充分的发挥其移动优势,移动视频监控与传统网络视频监控相比,具有网络覆盖面广、没有空间限制、使用方便、实时性高等优点。本文根据项目资助课题的研究,对移动视频监控系统的相关技术进行了探讨,提出一种基于移动流媒体技术的视频监控系统构建方案,该系统通过对移动流媒体传输控制实现了移动通信网络的无线视频监控,并且能够支持在任意地点上传实时图像、在任意位置接收远方图像,从而实现了随时随地的视频监控应用。
参考文献:
[1]纪鹏之.网络视频监控的发展和应用[J].人民公安,2008,23(02):56-57
[2]DaPeng.W,Yiwei Thomas Hou,Wenwu Zhu,Streaming Video over the Internet:Approaches and Directions[J].IEEE Transactions on Cricuits and System for Video Technology,2008,11(3):282-300
[3]茅旭峰,李俊,吴刚,流媒体服务器服务能力基准实验与性能模型[J]. 小型微型计算机系统,2007,2:204-209
[4]史凯,雒江涛,张治中.基于RTP的h.264无线视频传输和Qos控制[J].微计算机信息,2009,(06):162-164.
[5]赵进,叶梧,冯穆力.基于RTP协议族的流媒体系统设计和实现[J].计算机工程,2005,31(2):195-197
[6]Ki-II Kim,Da-Hye Choi,Sang-Ha Kim.Deployment issues for application level multicast[J].IEEE Communications.APCC 2003.The 9th Asia-Pacific Conference,2008,Vol.3:1087-1091
[7]M.Castro,P.Druschel,A.M.Kermarrec,et al.SCRIBLE:Alarge-scale and Decentralized application level multicast infrastructure[J].IEEE Journal on Select areas in communications,2007,20(8):1489-1499
【关键词】移动流媒体 视频监控 RTP实时传输协议 流媒体编码
一、引言
近年来,视频监控系统[1]发展迅速。视频监控系统能够将监控点实时采集的视频流[2]实时地传输给监控中心,便于监控中心进行远程监控,对突发事件及时指挥处理。但是我们也应当看到,基于传统的有线网络实现的视频监控存在着明显的缺点。这些缺点包括:布控网点受限制,布控网点工程量大,工程周期长,欠缺灵活性和移动性。
移动视频监控与传统网络视频监控相比,具有网络覆盖面广、没有空间限制、使用方便、实时性高等优点,因此有非常广阔的应用前景。使用移动视频监控系统,用户出行时可以方便快捷的看到重要交通路口的实时通行情况;在安装采集设备的家庭环境中,用户可以观察家中需要照顾的老人或儿童的当前状况。当目标监控点与监控管理中心地理位置相距较远时,或者目标监控点本身处于移动状态时,使用传统网络监控会面临布线成本过高或者无法布线的问题,具有移动采集端的移动视频监控系统可以充分发挥其移动优势。移动视频监控突破了原有视频监控的空间局限性,必将成为国内3G应用中的热点。
本文的研究得到“广东省科技计划项目省战略性新兴产业核心技术攻关(项目编号:2012A010701003)资助”,该课题对移动流媒体系统中的视频编码技术及移动流媒体相关协议进行了探讨,研究并设计基于移动流媒体技术的视频监控系统设计方案,从而实现不受时间和地域限制的实时视频监控。
二、移动流媒体概述
移动流媒体技术的构成主要包括三个部分:流服务器、播放器和编码器[3],并且缺一不可。传输移动流媒体在数据网络上,从音/视频源需要解决存储,媒体流传输,到网络端的媒体服务、编码/解码、到用户端的播放等问题。
实时的移动视频监控平台需要对实时性高的媒体数据进行大量的传输,从而使得研究需要涉及到网络传输协议怎样的选择,对媒体的传输质量来说不同的网络传输协议的影响较大。
由于TCP和UDP是传输层上的两种协议,用户数据包协议UDP是无连接的网络协议,而传输控制协议TCP是面向连接的[4]。面向连接的TCP的连接协议,将加重网络阻塞在阻塞重发机制中,从而造成严重的延迟,并且会使得对信道和Server端及的要求很高,所以实时数据采用TCP协议不太适合传输,而采用UDP协议则没有这些问题。
移动多媒体数据的实时传输可以采用RTP/UDP来实现,而对于移动流媒体协议主要包括实时流协议RTSP实时传输协议RTP与RTCP。实时流传输协议RTSP(Real Time Streaming Protocol)[5],是一个应用层协议在TCP/IP协议体系中,由Real Networks、网景公司、哥伦比亚大学共同提交的IETFRFC标准。对多应用程序来说该协议定义了怎样通过IP网络有效地传送多媒体数据RTSP位于RTCP和RTP之上的体系结构上,数据传输使用RTP或TCP完成;实时传输协议RTP(Real time Transport Protocol)[6]:是针对Internet上多媒体数据流的一个传输协议。RTP被定义为在一对一或一对多的传输情况下工作,其目的是提供时间信息和实现流同步;RTCP(Real time Transfer Control Protocol) 服务控制协议[7]是进行拥塞控制和流量控制的,并且于RTP一起使用。RTP本身并不能提供可靠的传送机制为按顺序传送数据包,拥塞控制或流量控制也不提供,这些服务依靠RTCP提供。
三、移动视频监控系统设计
本文设计的移动视频监控系统利用移动网络及局域网络相结合,依靠中心平台,实现统一界面、统一管理。系统采用数字信号与模拟信号相结合的方式,向网络传输高质量的监控图像,实现视频数据的上传与下调,以达到所有视频数据的共享。
移动视频监控系统结构如图1所示。
(一)身份验证系统负责对整个平台的用户权限、设备状况、联动策略、告警信息和操作日志等进行集中配置和管理,实现统一身份认证和权限控制。
(二)流媒体服务系统是移动视频监控系统中的核心,提供流数据的存储和转发功能,并且实现监控中心多客户端复用相同现场图像的流媒体转发管理和支持多级流媒体转发管理和调度,支持网关管理,降低网络带宽和设备负荷。
(三)存储管理系统通过网络获取系统中所有视频源的信息,存储到大容量的存储设备中。
(四)报警转发系统为所有系统管理的监控设备提供报警信号的接收和转发服务。
(五)手机客户端是直接面向用户使用的,包括核心控制层和基础服务层,其中核心控制层提供客户端的各项功能,包括流媒体播放和业务控制;基础服务层则提供对HTTP协议、RTP/RTSP协议、UDP协议的适配,以及调用操作系统的服务。
四、移动流媒体分发的实现
流媒体服务子系统是移动视频监控系统中提供视频流分发和协议网关的模块,它从前端节点设备获取监控视频流,然后分发给不同的用户,这样,无论多少用户同时访问该节点视频源,都只占用前端设备1路视频流的带宽,同时还提供不同协议的节点设备的控制协议解析转换功能。因此,移动流媒体服务子系统是移动视频监控系统的核心组成部分,它的主要是完成流节目的存取调度、传输以及管理等功能。 移动视频监控系统中的流媒体服务子系统的结构如图2所示。
(一)服务器核心:负责流媒体服务器的启动和关闭,负责流媒体服务器的参数配置,并且管理服务器的子系统。
(二)RTSP子系统:分析和处理RTSP请求,并且执行相关模块。每个RTSP/TCP连接都对应一个RTSP session,每个RTSPSession对象是一个处理RTSP连接的Task对象。
(三)RTP子系统:处理数据包的发送,通过RTP Session对象来管理。
(四)内容管理模块:管理RTSP请求以及与媒体源相关的操作。模块负责解析客户的请求,存取和解析支持的文件源,并且利用RTSP和RTP对客户进行响应。
(五)接口控制模块:提供用户的鉴权管理和认证管理以及URL路径管理。
(六)服务器管理模块:负责服务器的日常管理。
(七)基本工具箱:是整个服务器的通用代码工具箱,包括了线程管理、数据结构、网络和文本分析等。
本文研究的移动视频监控系统把命令数据包和多媒体数据包分离,前者采用TCP协议传送,后者依然使用UDP协议发送。采用这种网络传输方式可以让系统的多媒体流能够比较流畅的播放,控制命令也可以及时到达,能够满足系统设计要求。
五、仿真测试
本文在移动视频监控系统测试中的视频流采用H.264标准进行压缩,采用CIF格式,即大小为352*288像素的图像格式进行传输,局域网网络带宽为100MB,无线数据传输采用3G网络,整个过程测试只进行单个服务器的性能测试。
移动客户端在进行视频监控的情况如图3所示。
由于移动监控客户端可能会采用不同类型的手机,所以视频播放的质量会有较大区别,因此视频播放的质量可以分为:高清、清晰和正常三个档次。本文对移动监控系统采用的测试帧率分别为15帧/s、10帧/s、8帧/s的H.264音视频片断。具体的测试参数值见表1所示。
移动客户端的测试结果表明三种帧率的视频片断都可以实现视频监控,15帧/s播放效果较好,流畅度高,10帧/s的播放效果也相当不错。在实际播放过程中,15帧/s的片断虽然很清晰,但对于手机的解码性能提出了非常高的要求。8帧/s的视频源测试帧率不是很高,当时能够正常进行视频监控,该测试帧率能够运行在信号较弱和系统配置不高的客户端环境中。测试证明移动视频监控客户端在3G网络中能够流畅的播放8-10帧/s的H.264视频数据,从而满足移动视频监控的应用要求。
六、结论
由于传统网络监控往往会面临布线成本过高或者无法布线的问题,然而对于具有移动视频监控端的系统来说,能够充分的发挥其移动优势,移动视频监控与传统网络视频监控相比,具有网络覆盖面广、没有空间限制、使用方便、实时性高等优点。本文根据项目资助课题的研究,对移动视频监控系统的相关技术进行了探讨,提出一种基于移动流媒体技术的视频监控系统构建方案,该系统通过对移动流媒体传输控制实现了移动通信网络的无线视频监控,并且能够支持在任意地点上传实时图像、在任意位置接收远方图像,从而实现了随时随地的视频监控应用。
参考文献:
[1]纪鹏之.网络视频监控的发展和应用[J].人民公安,2008,23(02):56-57
[2]DaPeng.W,Yiwei Thomas Hou,Wenwu Zhu,Streaming Video over the Internet:Approaches and Directions[J].IEEE Transactions on Cricuits and System for Video Technology,2008,11(3):282-300
[3]茅旭峰,李俊,吴刚,流媒体服务器服务能力基准实验与性能模型[J]. 小型微型计算机系统,2007,2:204-209
[4]史凯,雒江涛,张治中.基于RTP的h.264无线视频传输和Qos控制[J].微计算机信息,2009,(06):162-164.
[5]赵进,叶梧,冯穆力.基于RTP协议族的流媒体系统设计和实现[J].计算机工程,2005,31(2):195-197
[6]Ki-II Kim,Da-Hye Choi,Sang-Ha Kim.Deployment issues for application level multicast[J].IEEE Communications.APCC 2003.The 9th Asia-Pacific Conference,2008,Vol.3:1087-1091
[7]M.Castro,P.Druschel,A.M.Kermarrec,et al.SCRIBLE:Alarge-scale and Decentralized application level multicast infrastructure[J].IEEE Journal on Select areas in communications,2007,20(8):1489-1499