文本信息处理的若干关键技术研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:zjtiankong1981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代的到来和Internet的日益普及,文本信息迅速膨胀。Internet上有数十亿的网页,成千上万TB的数据。而且,每天有数十万的网页更新,数百万的新的网页加入,使得Internet上的信息丰富而又复杂。如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学领域面临的一大挑战。文本是最基本、最常见的信息载体。本文以文本信息检索模型为基准,对文本信息处理的几个关键技术包括文本分类、文本聚类和近似查询处理等进行研究。文本分类和文本聚类是对数据进行组织和管理的核心技术。近似查询处理需要快速查询到所需信息,这是解决大规模数据集的一个重要技术。以下是本文的主要研究内容:(1)文本信息处理的技术基础。包括文档表示模型、切词、特征选择、文本分类和文本聚类。本文简单介绍了集合模型、代数模型、概率模型和概念模型等四种文档表示模型;分析了中文切词的主要问题和主要方法;具体介绍了文档特征及其选择算法;详细介绍了文本分类和文本聚类,并重点概括了一些重要的文本分类和文本聚类算法。(2)基于混淆矩阵的层次结构构造。在信息化时代,文档的海量化和复杂化使得对文档进行层次分类成为必要。本文根据描述平面分类器的错误情况的混淆矩阵,提出了两种层次结构构造法。一种是层次聚类法,另一种是混淆类别法。层次聚类法采用合并策略,即:初始时将每个样本看作一类,然后根据它们的相似性或距离逐渐合并,直到形成一个大类为止。混淆类别法根据各类别间容易混淆的概率大于某个阈值t形成混淆类别,从而构造层次结构。对这两种算法均给出了详细的算法。最后通过相关实验对这两种层次结构构造方法进行比较。实验结果表明混淆类别法策略优于层次聚类法。主要是因为层次聚类法认为父类下一层的子类间的混淆关系是对称的,而实际文本并没有体现这一点。(3)文档流派分类研究。文档流派描述的是文档的风格,而不是文档的内容。文档的流派和文档的主题是正交的。也就是说,相同主题的文档可以有不同的流派,相同流派的文档可以描述不同的主题。流派分类在信息检索、信息过滤、反动信息的拦截和网上舆情调查等方面发挥了越来越重要的作用。为了对文档的正反面进行分类,本文提出了基于特征情感色彩的文档流派分类方法(情感分类)。对于情感分类来说,它和基于主题的分类在分类方法上并没有本质区别。可以认为,基于文档的正反面情感分类就是一个普通的二类分类问题。所以,情感特征的选择和情感倾向判定就尤为重要。因此,本文主要研究情感特征词的选择、情感倾向判定和情感倾向权值计算,并研究了几种典型的方法。最后,在国家自然科学基金(60173027)的支助下,开发了一个情感原型系统,并将情感分类方法同传统文本分类方法和基于语义模式的方法进行比较。结果表明:情感分类方法较差,基于语义模式的方法最好,传统文本分类方法居中。但是情感分类方法不需要人工标注训练样本,不需要针对每个主题构建一个独立的分类器,所以这种方法有较强的通用性,而且分类速度也要快很多。(4)基于小波变换的近似查询处理。传统的决策支持系统(DSS)在数据查询时希望查询系统能够根据提交的查询提供一个准确的结果,反应时间很长,这是一种典型的“黑盒”模式。但在现今的DSS、在线分析处理(OLAP)、在线聚集等领域,往往不需要一个精准的结果,而对系统的反应速度有很高的要求。这时近似查询就应运而生。小波已经证明了在层次分解(压缩)领域的高效率。小波变换通过将GB/TB级的数据压缩为MB级的数据从而达到近似查询的高速反应要求。本文通过这种压缩机制,在前人提出的选择(Select)、投影(Project)和连接(Join)算法的基础上,提出了合并(Union)、差(Difference)和更新(Update)等操作算法。这些操作都是在小波大纲级上进行的。小波大纲是对源数据的压缩。最后给出了有关实验。实验结果表明,在union和difference操作中,使用小波变换的方法优于任意样本(random sampling)法。并且,当数据的更新不是很大时,对小波系数进行update算法的性能几乎和最优小波系数法相当。
其他文献
采用紫外分光光度法测定联苯苄唑洗液中联苯苄唑含量,以甲醇为溶剂可不经分离提取直接测定。检测波长254±1 nm,结果为线性范围4-14μg/ml,回归方程A=0.073±0.0699
采用四氯化碳(CCl<sub>4</sub>)制备小鼠肝脏损害模型,应用熊胆注射液进行保护性实验研究。结果表明,实验组与模型对照组比较不论是肌肉注射或腹腔注射,其血清、肝脏丙氨酸氨基
TN248.5 2000010209COIL中BHP浓度对发生O<sub>2</sub>(<sup>1</sup>△)的影响=Influenceof content of BHP on yield of O<sub>2</sub>(<sup>1</sup>△)in COIL[刊,中]/李富岭,
笔者采用常温麻醉仅阻断上下腔静脉,在心脏不停跳状态下实施体外循环心内直视手术30例.实验组与对照组比较,麻醉、手术及体外循环时间明显缩短;术后心电图S-T段改变轻微;无低
煤矿空气中因含有少量低浓度的甲烷常会引发煤矿中恶性爆炸事故,给人的生命和财产带来巨大的损失。脱除煤层气中的甲烷主要是将甲烷从空气中分离出来。但甲烷氮气体系的分离
目的探讨心肌炎室性早搏发病年龄高峰及心电图特征.方法观察分析137例心肌炎室性早搏患者心电图特征.结果早搏出现多为中、青年(21~40岁)92例,占67.15%;QRS波时限为0.10~0.20(
目的探讨豚鼠支气管平滑肌细胞的分离方法。方法通过链霉蛋白酶 E 消化气管和肺组织,并辅以离心、机械吹打等手段,获取细胞后观察其形态、数目。结果获得带状或纺锤状细胞,其细
TH773 2002032361采用LED的高灵敏度OCT系统=High sensitive opticalcoherence tomography system with lightemittingdiode[刊,中]/吴继东,曾绍群,骆清铭(华中科技大学生物
应用Wistar大鼠研究麦饭石活性口服液对四氧嘧啶引起的实验性糖尿病大鼠的降血糖作用。给实验性糖尿病大鼠分别口服麦饭石口服液1ml/kg.d、2ml/kg.d、3ml/kg.d,3种剂量均明显
高等教育大众化形势下,高校毕业生的就业压力随着增大.因此,高校应认清形势,适时调整培养方案、培养模式,建立健全的就业指导体系,转变学生就业观念,提高学生的综合素质,真正