该文对词法分析和词性标注这两个问题进行了深入的研究,并根据各自的特点提出了相应的解决方案. 英语词法分析包含两个部分:句子边界识别和形态还原.自然语言的语法规则都是对独立句子而言的,因此句子边界识别造成的错误会引起句法分析的错误,也是一个导致最终翻译结果不正确的原因.有效准确地确定句子边界是进行机器翻译前对文本预处理的重要步骤.该文提出了决策树与错误驱动相结合的方法进行句子边界识别,取得了良好的效果.对于形态还原,由于在英语中单词的形态变化是有语法规则可依的,该文主要借助英语特有的形态还原的规律,以单词不同的词形变化和一些特殊符号来分类,利用知识库进行分析,采用分治的方法对各类问题进行相应的处理. 词性表示词的语法属性,是构成自然语言结构和进一步进行句法分析的基础.在研究英语词性标注时,该文提出了将最大熵与三元隐马尔可夫模型相结合的方法进行词性标注.针对模型中面临的数据稀疏问题,该文首先在统一的研究平台上比较分析了各种典型的参数平滑算法的优劣,并选择线性插值来平滑HMM的转移概率.针对传统隐马尔可夫模型中对于词性的约束过于简单的问题,该文在最大熵框架下,对影响发射概率的上下文特征进行选择,采用最大熵模型对发射概率进行估计,尽可能体现上下文的词性与单词特征对于发射概率的影响.综合两个模型各自的优势应用于英语词性标注,最终提高词性标注的精度.