ICTCLAS汉语词法分析系统的研究与改进

来源 :浙江工业大学 | 被引量 : 0次 | 上传用户:mgq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中文分词(Chinese Word Segmentation)指的是将汉字序列按照一定的规则组合成词序列的过程,它是中文信息处理系统中的一个重要部分,是中文文献检索、搜索引擎、机器翻译(MT)、语音合成等信息系统中最基本的一步。中文分词的切分精度和切分速度将直接对系统的后续过程产生影响,为了在保证中文分词切分速度的基础上,尽可能的提高中文分词的切分精度,以达到提高中文分词算法性能的目的,近年来研究和开发高性能的中文分词系统成为了热点。汉语词法分析系统ICTCLAS(Institute of Computing Technology,Chinese Lexical Analysis System)是世界上领先的开源汉语词法分析器。本文通过研究开源版本的ICTCLAS汉语词法分析系统,结合现有的中文分词研究成果,在词典的构成、数词和时间词识别规则、机构名识别以及实现基于类的隐马尔可夫分词算法几方面提出改进思路。改进后的newICTCLAS分词系统采用双数组Trie树结构的词典机制,完善人名、译名、地名以及数词匹配规则的同时,添加时间词识别和机构名未登录词的识别,并实现了基于类的隐马分词。实验结果表明改进后的newICTCLAS分词系统与开源版本的ICTCLAS系统相比在切分精度、切分速度、召回率和准确率上都有了不同程度的提高,证明了改进后系统的优越性。
其他文献
大学是现代社会的“轴心机构”,是一个国家综合国力的重要体现。我国的高等教育在全面建设小康社会的进程中,发挥着越来越重要的作用。高等教育发展对小康社会建设的必要性体
近年来,随着我国对优秀传统文化的大力弘扬以及人民文化生活需求的日益增长,作为书法绘画艺术载体的书画纸得以迅速发展。为满足市场需求,部分企业逐渐采用现代制浆造纸技术进行书画纸的生产,但在提高产量的同时也造成了书画纸性能的下降。因此,开展对书画纸的生产工艺以及润墨性能的相关研究与改善,已成为书画纸行业发展的必然趋势。本研究以檀皮纤维和竹浆作为书画纸的主要原料,验证了木聚糖酶助漂技术在韧皮类纤维漂白中可
随着直驱技术在农业装备驱动领域受到越来越多的关注,具有低速大转矩能力的高性能电机成为国内外学者关注的焦点。传统的永磁游标电机分为定子型和转子型永磁游标电机。定子
目的分析医护一体化优质护理服务模式在眼科日间手术中的应用效果。方法选择我院在2016年5月~2017年8月进行日间手术治疗患者120例进行护理分析,将患者分为研究组和对照组各6
水墨画是一门具有强烈中华文化特色的艺术表现形式,是中国古典文化的重要组成部分,它有着十分鲜明的东方文化印记。紫砂刻绘当中经常会运用到水墨风格的构图创作,两者相互结
随着我国经济的腾飞和资本市场的日益完善,A股上市公司越来越多,公司涉及的领域也更加广泛。注册会计师面对的不再仅仅是主营业务单一,审计风险低的被审计单位,更多的是面对
<正>近年来,履行《生物多样性公约》(下称《公约》)的最重大里程碑成果是2010年在其第10次缔约方大会上通过了《关于获取遗传资源和公正和公平分享其利用所产生惠益的名古屋
水浒故事在流传过程中被再创造的路径之一就是让水浒英雄进入戒色主题,在这个过程中,水浒戏的情节因素以变形的方式进入《水浒传》,水浒戏中的搽旦形象也深刻影响了小说中女
<正> 中国教育硕士专业学位教育指导委员会部分委员和12所教育硕士研究生培养单位——北京师范大学、华南师范大学、东北师范大学、福建师范大学、湖南师范大学、首都师范大
<正>由上海骆氏减震件有限公司申请的专利(公开号CN 201539531U,公开日期2010-08-04)"汽车前减震器支撑的减震支架结构",涉及的减震支架结构的本体包括内骨架、外骨架和橡胶