互联网视频网站数据采集与解析技术研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:libin101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,中国网络视频用户数量和市场规模不断扩大,视频网站所产生的数据呈爆发式增长,在视频网站中渐渐出现了对视频数据的分析结果,并以图表的形式展示给用户。视频数据分析需要大量稳定可靠的数据,由于视频网站并不对外公开视频数据接口,如果非视频网站内部的团队或个人想要对视频数据进行分析,可行性最高的就是通过数据采集与解析技术对视频网站中的数据进行收集。本文首先研究分析了网络爬虫技术的原理、主流爬虫框架和主要信息抽取技术,阐述了运用传统的网络爬虫和信息抽取技术完成视频数据采集任务时,在数据采集与解析的速度和稳定性方面仍有进一步优化的空间。为了实现视频网站数据采集与解析需求,设计了视频网站数据采集与解析系统,并根据数据采集与解析过程的主要步骤对系统进行模块化设计,其中日志模块对系统运行状态的日志记录和异常报警功能。设计HTTP访问、多线程、URL队列等关键技术,实现系统功能和性能的需求。最终,视频网站数据采集与解析系统完成了对爱奇艺、腾讯视频、乐视视频、优酷和搜狐视频五大视频网站的数据采集与解析任务。通过实验测试分析,验证了视频网站数据采集与解析系统具有良好的稳定性,数据采集结果具有较高的质量。
其他文献
融合独显核心是AMDAPU最大的亮点。它的性能基本上已经足以取代低端的独立显卡了。不过,事实上我们还有更多的办法对它进行优化,使它获得更加高效的表现。首先,显存容逯一定要分
在移动网络的大时代里,利用数据线来同步手机与电脑磁盘中存储的文档是low的表现,在无线网络的帮助下,我们能很轻松地让手机与电脑实现无线互联,在不使用数据线的情况下就能将PC
对国内外食用植物提取物发展动向进行了分析,并阐述了几种食用植物提取物的作用及开发现状,以期为食用植物提取物这一功能性食品添加剂开发奠定基础。
阐述了南方红豆杉开发经济效益,对福建省漳平市的南方红豆杉资源开发效益作了初步分析,以期指导生产实践。
摄影发烧友或多或少都有点文化情结,所以打着“人文利器”旗号的摄影器材就成了不少文艺青年憧憬的创作工具,不过话说回来什么才是人文利器呢?    人文摄影师特别钟爱莱卡相机,它体积小巧便于携带,同时快门声也比较轻柔。对于人文摄影来说,偷偷地干活是非常重要的,否则你只能拍到一张张惊异的面孔。    利器:NEX-7机身+E 16mm F2.8镜头  NEX-7机身本身就透出一股人文范,小巧的体积配上可翻
通过对折橡胶止水带,通过植筋螺栓锚固的方式衔接新旧混凝土,为新旧混凝土的衔接提供了一种新的施工方案。
【正】苹果设备一向讲究封闭性,如果想将iOS设备与投影机进行连接,需要专门的Apple Digital AV Adapter和Apple HDMI线缆。两者的价格不菲,而且用iOS投影的机会毕竟也不多,那