测试方法效应是指测试方法的差异对考生的考试成绩所产生的影响。具体表现为,不同测试方法对同一语言能力的测试产生不同的结果。因此,对测试方法效应的研究也涉及对测试的信度和效度问题的探讨。根据考生的答题形式不同,语言测试可分为综合性测试与分离性测试。对于这两种测试方法是否影响测试结果,一直存在争议,一种普遍的看法是综合性测试在效度上高于分离性测试,而分离性测试在信度上要优于综合性测试。由于分离性测试在评分上的高效和信度上的优势,一直被大型语言测试广泛采用。但高比例的分离性测试日益显示出其严重的负面效应,对它的批评也日益增多。如今,随着交际性能力测试的发展与对多项选择题型的批评日益增多,一向大范围地采用多项选择题作为主要题型的大学英语四级考试,于2006年开始进行改革,加入了更多的综合测试题型。本文采用受试者大学英语期末考试的听力试卷数据,对当下大学英语四级考试采用的几种不同听力测试题型进行对比研究。鉴于四级考试的广泛社会效应与巨大影响力,本文同时也研究这些测试题型的反拨效应。通过问卷调查和考试结果分析,本文详细地比较分离性测试(短对话、长对话、短文听力)、综合性测试(复合听写)的题目难度,分析其内部一致性信度与同期效度等。通过问卷调查,揭示产生测试方法效应的原因和考试的反拨效应。研究结果表明,听力理解中的分离性测试与综合性测试存在测试方法效应,综合性测试难于分离性测试;在内部一致性检验与同期效度分析中,综合性测试在信度与效度方面均优于分离性测试;综合性测试的信度优于分离性测试的信度这一结论,与之前的众多研究结果相反;在反拨效应方面,综合性测试更有利于培养学生的综合语言能力,对学生综合语言能力的提高有着促进作用。因此,综合性测试在测试考生的听力理解方面优于分离性测试,应在今后的测试中予以足够的重视,并适当增加综合性测试的比例;同时,在多项选择题方面,应提高试题质量;建议在复合听写的评分标准上做必要的调整,以区分完全未听懂与听懂但未正确拼写单词的考生。