基于深度学习的Web数据挖掘

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:zkx713583
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Web是当今世界上最大的公共数据来源,从海量异构、半结构化的Web页面中提取有价值信息逐渐成为数据挖掘的重要任务。传统的基于机器学习的数据挖掘算法虽然已经取得一定效果,但是难以在现有基础上进一步提升,也不能解决更加复杂的文本处理问题,因此,当前Web数据挖掘研究的重心逐渐转向深度学习领域。本文的研究目标为从全球排名前100所英文母语授课高校的海量网页中提取任课教师的个人教育经历,在网络爬虫获取页面数据的基础上,使用先页面分类后信息提取的方法进行挖掘工作。页面分类阶段,提出基于多尺度卷积核的神经网络分类模型(CNN,Convolutional Neural Network)。信息提取阶段,使用分类后数据得到目标信息,提出字符-单词联合特征的双向GRU网络(Gated Recurrent Unit)和双向GRU网络结合CRF(Conditional Random Fields)的信息提取模型,此外,还提出将基于全文理解的问答系统引入信息提取任务中来。通过在多个数据集上,与多个当前被广泛使用的信息提取方法对比,以探索当前最优模型和未来的发展方向。本文研究发现,在页面分类问题上,本文提出的多尺度卷积核神经网络比传统的支持向量机准确率高2.77%,有明显提升;信息提取问题上,双向GRU+CRF的网络取得比传统的CRF和当前最被广泛使用的长短记忆网络更好的效果。本文的算法在实际挖掘任务中实用性较强,具有良好的应用场景。
其他文献
综述了近年有关双马来酰亚胺(BMI)树脂的改性现状和研究进展,主要包括胺类化合物改性、烯丙基类化合物改性、热塑性树脂改性、热固性树脂改性、无机功能材料改性、微胶囊改性
反垄断执法和解制度发轫于美国,自20世纪中后期以来在美国和欧洲国家得到广泛应用。所谓反垄断执法和解,指的是执法机构在对涉嫌垄断的经营者进行执法过程中,基于双方的自愿进行谈判磋商,以最终达成和解协议的方式使反垄断纠纷得到解决。该制度的主要优点就在于在执法的过程中可以节约资源,提高效率。我国在2008年的《中华人民共和国反垄断法》(以下简称《反垄断法》)第45条引入了反垄断执法和解制度,在2009年国
习近平总书记在党的十九大报告中阐述新时代党的建设总要求时鲜明提出,“全面推进党的政治建设、思想建设、组织建设、作风建设、纪律建设,把制度建设贯穿其中,深入推进反腐败斗争,不断提高党的建设质量”。这是继党的十八大首次在全国党代会报告中提出纪律建设这一命题之后,我们党第一次把纪律建设与政治建设、思想建设、组织建设、作风建设、制度建设并列,共同纳入党的建设新的伟大工程之中。我们党是靠革命理想和铁的纪律组
在延安召开的文艺座谈会上,毛泽东说起了“下里巴人”,表达了他关于大众文学的观点。在他的心目中,大众文学和精英文学一样,都是文学品种。他认为:我们既需要“高级”的大众文学,同
一句话概说全球化 (globalization)是近年来出现的一个社会现象 ,一般认为 ,随着社会和科技的发展 ,世界各国之间的交流日益增多 ,互相融合 ,互相依存 ,正在走向一体化或所谓
全省5088个土样,有效铁平均含量为1.27~162.00ppm,平均为12.62ppm,<5ppm占5.41%;全省12个地(市)区土壤有效铁平均含量<10ppm有7个,>20ppm有2个;缺铁、潜在性缺铁土壤分别为510.
随着中国小说的现代转型,自然环境书写已经成为一种创作追求,相关的理论也在逐渐地萌生,它在自觉或不自觉地改变着中国小说的书写面貌,成为现代小说的审美特征。创造社前期小说追求灵魂与自然的结合,注重在景物描写中表现人物的主观情绪,其小说中的风景是一种情绪风景。本文立足文本细读和比较研究,聚焦于小说的自然背景,从风景的色彩与意象出发,以心理学中的情绪与情感为突破点,重点分析自然背景与人物情绪心理的关系,从
随着人类数字信息化时代的快速推进,现代社会生活对于信息安全的要求也越来越高,生物特征的身份鉴定技术占据着越来越重要的地位,其中人脸识别在身份验证、人脸辨识以及人脸支付等方面有着重要的意义,基于视频场景中的多人脸识别的地位日益重要。人脸识别技术广泛的应用于社会的各个方面,例如公共监控、人脸考勤以及智慧教育等。本文以大学课堂视频为背景,进行了多人标识系统关键算法的研究以及系统的实现,通过多人标识系统,
本文综述了阳离子表面活性剂在纺织、金属、材料、涂料等工业领域中的应用新进展。
多输入多输出(Multiple-Input Multiple-Output,MIMO)雷达是近年来兴起的一种新体制雷达,它的性能优于传统的相控阵雷达,得到了国内外学者的广泛关注。通常根据MIMO雷达的发