论文部分内容阅读
汉语自动分词中组合歧义是难点问题，难在两点：组合歧义字段的发现和歧义的消解。本文研究了组合歧义字段在切开与不切时的词性变化规律，提出了一种新的组合歧义字段自动采集方法，实验结果表明该方法可以有效地自动发现组合歧义字段，在1998年1月《人民日报》中就检测到400多个组合歧义字段，远大于常规方法检测到的歧义字段数目。之后利用最大熵模型对60个组合歧义字段进行消歧，考察了六种特征及其组合对消歧性能的影响，消歧的平均准确度达88．05％。