本研究从评分员的视角验证开发中的批判性思维能力测试任务的效度。批判性思维能力测试任务旨在评测英语教师职业求职者的批判性思维能力。该批判性思维能力测试任务属于建构型作答任务,需人工评阅。研究表明,评分员评分一致性会影响着测试结果,进而影响测试任务的效度,评分员一致性亟待研究。本研究采用“解释/使用论证框架”(Kane,2006,2013,2016),依据研究问题构建了批判性思维能力测试任务评分推理,通过考察评分员间一致性、评分员内部一致性、评分偏误及量表分数档的使用,论证批判性思维能力测试任务的测试结果的有效性。本研究所用数据来自52位被试的书面作答。评分由4位受过培训的评分员依据批判性思维能力测试任务的分项评分量表完成。研究采用多面Rasch模型分析研究数据,并对4位评分员进行了个人访谈。研究结果表明:1)评分员间总体一致性较高。尽管4位评分员之间严厉度存在差异(严厉度区间为0.47 logits),但差异在可接受范围内;2)评分员内部一致性较高(infit&outfit MnSq在0.94至1.05之间);3)评分员在评阅较高水平被试作答时表现出偏误倾向,但整体上评分员与考生的交互作用处在合理范围之内;评分员在评阅不同题目及使用评分量表各维度时均未发生偏误;4)评分员使用量表分数档时较为准确。从评分员视角收集的相关证据,均可作为效度证据支持批判性思维能力测试任务评分推理中“批判性思维能力测试任务观测分数能够反映被试批判性思维能力”的主张。使用“解释/使用论证框架”研究评分员一致性,可为相关研究提供参考。批判性思维能力测试任务评分员一致性的研究初步验证了其效度。多面Rasch模型和个人访谈数据所提供的诊断性信息亦可为批判性思维能力测试任务评分员培训提供有益的参考。