论文部分内容阅读
文本分割是自然语言文本处理的一项重要研究内容。该文针对现有模型无法有效分割概括性小文本的不足，提出基于隐马尔可夫模型的统计算法。该算法利用小文本中各结构块的长度及词汇信息，对概括性小文本进行同一主题不同论述侧面的分割。对发射概率设计了基于句群和基于分割点2种不同的计算方法。以Medline摘要为样本进行的实验表明，该算法对概括性小文本分割是有效的，明显好于经典的TextTiling算法。