【摘 要】
：
针对微博平台大数据的采集、挖掘、分析等热点问题,深入介绍并分析了采集平台的相关理论技术,通过对采集平台功能结构及后台数据库设计、页面爬取和解析、反爬虫的应用技术设
【机 构】
：
湖北师范大学计算机科学与技术学院,湖北师范大学文理学院,湖北师范大学教育科学学院
【基金项目】
：
湖北省高等学校优秀中青年科技创新团队计划项目(T201430)
论文部分内容阅读
针对微博平台大数据的采集、挖掘、分析等热点问题,深入介绍并分析了采集平台的相关理论技术,通过对采集平台功能结构及后台数据库设计、页面爬取和解析、反爬虫的应用技术设计、分布式策略设计等四个方面的技术研究,设计并实现了一种基于分布式的微博数据采集平台;给出了主从模式系统架构;达到了用户只需根据需要输入待爬取微博页面的ID,并选择要采集的数据类型,即可获得所需数据的目的。经测试,系统搭建成本低,爬取性能高,可运用于微博数据的舆情分析和数据调研等研究方面的基础数据采集。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
患者女,40岁,已婚,孕3产1.因不规则阴道出血2周,于2001年2月13日入院.平时月经周期规则,末次月经为2001年2月9日.
鲁迅的小说创作深受外国文学的影响，这在评论界引起了广泛的注意。但鲁迅受日本近代文学中“自我小说”①的影响，并创作了为数不少的“自我小说”作品这一现象，却似乎还没有得到
1临床资料患者女，29岁。因左面部黑色肿物90d于我科就诊。90d前患者左耳前出现一米粒大小肿物，伴红、肿、热、痛，未重视。肿物渐增大，表面有渗液。患者既往有慢性粒细胞白血病病
家里晚餐后的剩饭剩菜、饭店吃剩打包回家的饭菜,留到第二天吃都是常有的事。如今,炎炎夏日,正是各种细菌快速繁殖的季节,就算是新鲜的饭菜,食物中毒事件也时有发生,何况是剩
重庆是一个典型的移民城市,在历史上有过多次大规模的向内向外的人口流动与迁移。从新石器时代先民部族为了生存的沿江而徙,发展至20世纪90年代,为了三峡工程需要的大规模政
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
目的对南海珊瑚montiporasp.内生细菌Brevibacteriumsp.化学成分进行研究。方法采用硅胶柱色谱,Sephadex LH-20凝胶柱色谱,高效液相柱层析等分离手段对珊瑚内生细菌Brevibact
随着校园马拉松热的持续升温,当前高校如何运用校园马拉松实现学生体育锻炼的新途径也逐渐成为了高校管理运营者持续关注的问题之一。文章立足于校园马拉松的发展现状,首先分