基于Android的多媒体信息交互软件研究与实现

来源 :浙江工业大学 | 被引量 : 0次 | 上传用户:tcf274617008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着流媒体传输技术和数字图像处理技术的发展,人们期待信息交互的多元化。近年来,移动互联网和智能手机发展迅速,使得基于智能手机开发多媒体交互应用成为可能。本文设计并实现了基于Android的多媒体信息交互软件,可以通过软件进行即时消息通信、语音电话和视频聊天等操作。多媒体信息交互软件包括服务器和客户端两部分。客户端和服务器之间采用SIP(会话初始化协议)实现信令交互,通过RTP(实时传输协议)实现音频和视频数据的传输。视频编码采用H.264标准,语音编码采用G711标准。本文主要工作和创新点如下:(1)研究了软件开发中涉及的关键技术,包括音视频同步、SIP协议、XML解析、Android NDK开发和H.264帧内预测编码技术,为下一步开发打下基础。(2)设计了多媒体信息交互软件的总体框架,根据软件的功能需求对软件进行模块化设计,并介绍了各个模块的功能。(3)移植开源库Mjsip和Jlibrtp,实现软件SIP信令交互和音视频RTP数据传输。(4)针对网络传输数据丢包和乱序引起媒体播放时抖动和不同步现象。本文设计了二级缓存机制消除抖动,并提出了一种音视频同步方法。通过设置缓存区实现媒体内同步,在时间戳和音频作为参考流连续播放的音视频同步控制方式基础上,当检测到音频丢包时插入舒适噪声。在对音频影响较小的情况下,实现较好的音视频同步效果。(5)为了提高视频编码效率,本文对OpenCore开源库中的视频编码算法进行优化,根据图像平坦度进行宏块预测模式选择。修改帧内4×4预测流程,减少了计算量,加快了预测模式选择速度。然后采用Android NDK技术移植开源库,实现视频编解码。在不影响观看的基础上降低了编码计算复杂度,提高了视频编码效率。对设计的多媒体交互软件进行测试,测试结果表明软件运行稳定,操作友好,能够完成预期的功能。
其他文献
本文论述了基于中控主机的智能家居控制系统设计与实现,主要研究工作如下: (1)提出了以中控主机为核心的智能家居解决方案,将中控主机应用到智能家居领域,可以很方便的适应现
近些年社会各方面都发生着翻天覆地的变化,尤其是在计算机网络和物联网方面,更是发展飞快,不断有新技术应用到人们的日常生活中,人们也对家居生活环境越来越重视,从一开始遮
短波无线电通信是依赖于电离层反射实现的超距离的通信方式之一。无论是在无线电通信发明的早期,还是在现代通信技术飞速发展的今天,它都作为一种极其重要的通信手段,一直扮演主
无线传感网络作为全球未来十大技术之一,越来越受到人们的重视。如何利用这种新兴的无线网络的能量资源,延长网络的生命周期,是无线传感器网络技术的一个关键问题。 在无线传
在过去的十年中,人脸检测已经在计算机视觉领域得到了深入的研究和广泛的应用,例如人脸识别、视觉监控以及人机交互领域。人脸检测要走向实际应用,检测精度和速度是亟需解决的两
近些年来,市场上各种各样的USB设备层出不穷,与此同时,越来越多的用户想让访问远程主机上的USB设备变得像访问本机上的USB设备一样方便,不同主机之间USB设备能够实现无缝共享
网格技术是伴随着计算机和网络技术的快速发展而兴起的一种重要信息技术,它的目标是实现网络虚拟环境下的高性能资源共享和协同工作,消除信息孤岛与资源孤岛。资源管理系统是网
合成孔径雷达(SyntheticAperture Radar, SAR)具有全天候、全天时、远距离成像和高分辨率成像等特点,在军事和民用领域得到了广泛应用。随着数字信号处理技术和合成孔径雷达成