近年来，要求第二外语学习者把所习得的知识技能运用到实际生活中去的呼声日益高涨。由此引发了语言测试工作者对做事测试的兴趣。研究者已经研发出多种方法以测试第二外语学习者的语用能力，这其中话语填充测试经常被用来收集资料并进行测试。话语填充测试由评卷人依照评分标准完成评卷工作。但是，评卷人在评卷过程中会因为各种原因而犯一些评分错误。评卷人效应就是其中一种。本文运用和研究的是由Myford和Wolfe于2003年提出的评卷人效应的理论和模式。此次研究试图运用多层面Rasch模型研究在话语填充测试里存在的评卷人效应。并且，作者将结合定性与定量的方法，研究影响评卷人评卷行为的因素并探讨出现评卷人效应的原因，以期产生对今后评卷人培训和外语教学有价值的启示和建议。本研究首先请38个年龄在19到21岁之间的中国在校大学生（15个男生和23个女生）完成一份话语填充测试的卷子，要求实现的言语行为是道歉。然后邀请6位大学老师（4位中国老师和2位外国老师）独立评改这些卷子。之后，所有的打分将由Rasch模型给予数据产出和分析。最后，作者针对模型产出的结果有针对性的对每个评卷人进行回访，旨在用定性分析的方法解释分析所得数据。本研究从四个层面进行分析：试题，考生，评卷人和评分方面。研究结果表明各个题目的难度有显著意义的区别，最容易得高分的项是“语言行为”，“表达”和“得体性”两项最难得高分。6位评卷人的评分严厉度存在显著差异，其中最严厉的是一位外国老师。6位评卷人都存在与考生、评分方面的交互性差异，而且所有的交互性差异可划分为四个类别。最后，本文针对评卷人培训，评分质量的提高和外语教学等方面，提出了一些启示。