论文部分内容阅读
【摘 要】本文论述高职院校课程考试工作评价指标体系的研制，阐述课程考试工作评价指标体系研制的指导思想、质量标准、原则，构建包括科学性和规范性2个一级评价指标，以及效度、难度、区分度、多样性、重复率、正确率、完整性、计划性、规范性达标9个二级评价指标在内的课程考试质量评价指标体系，并确定各项指标权重。
【关键词】高职院校 课程考试工作 评价指标体系 研制
【中图分类号】G 【文献标识码】A
【文章编号】0450-9889（2018）03C-0058-03
课程考试是高职院校一项常规教学工作，也是一项重要的教学管理工作。做好课程考试工作，对于深化高职院校教学改革，提升人才培养质量具有重要的引领作用。因此，如何科学准确地评价课程考试工作质量是高职教学改革与教学管理研究的热点之一。本文结合课题研究和多年的课程教学工作实践，采用层次分析法建构“课程考试工作评价指标体系”，期望实现科学准确评价课程考试工作质量的目的。
一、课程考试工作内涵
（一）考试及其功能。考试在人力资源开发和人才选拔方面具有广泛的应用价值。考试有选拔性考试和检查性考试之分。高职院校的课程考试属于检查性考试，主要检查学生掌握课程知识程度、给教师提供调整和改进教学的信息、引导学生学习、激励师生教学积极性和上进心等功能。
（二）课程考试工作。课程考试工作主要包括命题和试卷制作、考试实施、成绩评定和分析、考试组织和管理工作等。涉及的教学部门主要有组织考试和管理的教务处、课程教学的教学系部和试卷印刷和保管等部门。考试工作涉及的人员主要有授课教师、监考教师、参加考试学生、教学秘书、系领导、教务处领导和管理人员、教学质量检查员或督导员、试卷管理员等。
二、课程考试工作评价指标体系的研制
（一）指导思想。课程考试工作评价指导思想是充分体现人才培养目标，符合课程考试管理规定，坚持质量标准，注重能力考核，促进科学制定考试命题和试卷制作、考试评卷和分析、考试组织和管理工作规范化，提高课程考试工作质量进而提高课程教学质量。
（二）课程考试工作质量标准。课程考试命题工作的质量标准为：试题内容的科学性；考核标准的准确性；评分标准的合理性；试题素材的公平性。
课程考试组织管理工作质量标准为：试题编制的规范性；考试程序的严肃性和完整性。
（三）课程考试工作评价指标体系研制的原则。课程考试工作评价指标体系的建立必须符合科学性原则、系统性原则和可行性原则。
1.科学性原则。科学性原则是指评价各项指标和要素的确定和評价方式的选择，体现了教育理论、学习理论和教学评价思想，符合教学规律，符合课程特点、课程考试大纲和课程教学内容标准，评价指标体系名称科学规范。
2.系统性原则。评价指标体系应是一个完整系统，内容涵盖整个课程考试工作各方面，同时体现课程考试工作流程。
3.可行性原则。评价的可行性原则一是指评价的指标和方法具备明晰、简便、易于操作和推广的特点，二是评价要素数据容易获取。
4.独立性原则。尽可能选择独立性评价指标，避免连锁反应。
（四）课程考试工作评价指标体系设计。具体如下：
1.评价指标。课程考试工作评价指标体系是根据课程考试工作质量标准和评价指标体系研制原则进行设计。设计中包含考试命题、试卷制作、考试评卷、考试分析、考试组织和考试管理等考试工作，一级评价指标有科学性和规范性2个评价指标，二级评价指标涵盖考试工作中必须完成的工作指标共9个，其中一级评价指标科学性对应的二级指标6个、规范性对应的二级指标3个。
2.权重。指标权重确定是构建量化指标体系的关键，有客观赋权法和主观赋权法两训种类型。本研究采用主观赋权法，请教学经验丰富的专家对各指标在考试工作中的重要程度来进行赋分。结果见表1。
三、评分方法
整个评价表共设计评价指标9个，分成科学性指标和规范性指标两类，总分为100分。各指标的评分方法分述如下。
（一）科学性指标评分。科学性指标评分是一个连续函数，用数学计算方法计算出指标的评分值。本研究共设计有6个科学性指标，采用专家评价法评定，可由教研室主任评定，各指标评分方法略有差异。
1.试卷效度。指内容效度，考试题目对有关内容或行为取样的适用性亦即试题内容与教学内容符合程度。效度V等于试卷取自教学内容知识点数N除以教学内容的总知识点数T，即V=N÷T。效度是一个正向指标，效度值越大越好，最大值为1.00，最小值为0。考虑到考试时间限制，本研究取V≥0.90时，效度指标分SV=1.00，V≤0.50效度指标分SV=0分。V值在0.89-0.51之间用内插法计算效度指标分SV，SV=（V-0.50）÷（0.9-0.5）。效度指标评分=SV×30。如N=16，T=20，则V=16÷20=0.80，SV=（0.80-0.50）÷（0.9-0.5）=0.75，效度指标评分=0.75×30=22.5分。
2.试卷难度。难度系数反映试题的难易程度。难度系数P的计算公式为：P=X÷F。X为考生平均得分值，F为满分值。检查性考试试卷难度要利于学生的学习，偏正态分布更能激发学生的学习积极性，同时也要考虑及格率，但一定的难度能增加区分度，有利于全面了解、掌握学生学习情况。因此，难度系数是一个中庸性指标，难度系数过高过低都不好。故本研究取 P=0.80时，难度指标分SP=1，P=0.80±0.20时，即P≥1.00或P≤0.60时，难度指标分SP=0分。P值在0.81-0.99或0.61-0.79区间，用内插法计算难度指标分SP，SP=1-（|P-0.80|÷0.20）。难度指标评分=SP×10。如F=100分的试卷，考生平均得分X=78分，则难度系数P=78/100=0.78。难度指标分：SP=1-（|0.78-0.80|÷0.2）=0.90，难度指标分=0.90×10=9分。 3.区分度。指试卷区分度，是试卷能有效区分出学生掌握知识、能力程度。区分度计算：先将分数排序，PH=27%高分组的难度系数，PL=27%低分组的难度系数，区分度D=PH-PL。D≥0.30时，区分度指标分SD=1.00；D≤0.10区分度指标分SD=0分。0.10 4.多样性。指试卷题型多样性。题型多样性是保证考试科学性的重要手段。题型的划分有多种方法，通常有主观题与客观题之分，有开放式与封闭式之分，也有按选择、判断、填空、计算、简答、综合应用等的进行分类的方式。本评价表的题型多样性是指试卷中的试题必须有主观题和客观题两种类型，在此基础上，按选择、判断、填空、计算、简答、综合应用等的分类方式的试题，要求至少有两种题型。本指标为正向指标，即题型多，得分高，2种题型多样性评分记2分，3种题记3分，4种记4分，5种及其以上记满分5分。
5.重复率。命题教师出卷2份，一份为A卷，一份为B卷。考试用卷任抽其一，不抽中者作为备用卷或补考卷。重复率C=n÷N，n为A、B两卷中相同试题数，N为卷试题量总数。重复率是一个反向指标，即重复率越高得分越低。为确保可作为备用或补考卷，同时，由于是课程检查性考试，因此允许A、B卷有一定的重复率。本研究取重复率C=0.00时，重复率指标分SC=1.00，C≥0.10时，SC=0.00。C值在0.01-0.10区间，SC=1-C。重复率评分=SC×5。如重复率为5%，则SC=1-0.05=0.95，重复率评分=0.95×5=4.75分。
6.正确率。指试卷成绩批改、计算、登录等工作正确率。正确率是一个正向指标。正确率按试卷数计算，正确率Z=100%，正确率分SZ=1.00，正确率95%时，正确率分=0.00。正确率在95%-99%之间，用插入法计算正确率分SZ=（Z-0.95）÷0.05。如，正确率为99.5%，则正确率分SZ=（0.995-0.95）÷0.05=0.90，正确率评分=SZ×5=4.5分。
（二）规范性指标评分。规范性指标是考试必须要做的工作，其评分一个非连续函数，因此，采用赋值法给出指标的评分值。本研究共设计有3个规范性指标，14个赋分点，除计划性指标赋分点分值為4分外，其余各赋分点的分值均为2分。各指标评分赋值标准如表1（7）、（8）、（9）。
四、课程考试工作评价表的实施
（一）建立考试工作组织机构。成立校系两级考务工作领导小组，校级领导小组下设的考务办公室挂靠教导处，负责考试管理工作，包括全校考试工作总体安排、试卷印制、装订、清点、核对、保管、发放等工作，对教师监考纪律、学生考风考纪、考试试卷复查等考试各环节组织管理、监督检查等，组织协调考试管理，确保考试工作顺利进行。系级协助教务处开展具体考试工作的安排，包括考试命题的审核、考试组织和考卷评定的检查等。考务组织机构的设置不仅是顺利开展考试工作的组织保障，也是进行课程考试工作评价的组织保障。
（二）制定考试工作规章制度。制订学校考试工作实施方案，对命题原则及要求、试卷制作要求、评卷标准要求等做出明确的规定。“课程考试工作评价”应为考试工作规章制度中的一项内容。
（三）学习和领会考试工作规章制度和课程考试工作评价标准。认真学习和研究《×××学校考试工作实施方案》和《课程考试工作评价表》，总结课程考试工作评价经验，分析存在问题，切实加强考试工作的管理。
（四）院系评价。各院系成立院系一级课程考试工作评价领导小组。院系考试工作评价由院系组织考试工作评价小组开展工作，考评小组由院系主任、副主任、教研室主任和教师代表组成，主任任考评小组组长。
教师自查。对照《课程考试工作评价表》，教师根据课程考试工作的要求进行对照并自查，自我评定是否达到合格以上标准。不达合格者则重做，达到上交教研室主任。
专业教研室主任评定。对照《课程考试工作评价表》，教师先向专业教研室主任汇报自查情况，然后上交考试材料。教研室主任按照要求严格审核并评价，不达合格者则返回重做，出现小问题必须指出并责令改正，达到合格才能上交系部。系部教学副主任按照考试工作规章制度和，《课程考试工作评价表》认真复核，只有达到合格才能上交学校教务处。
（五）学校抽查评价。学校考试工作评价小组每学期期末或者下学期期初对各系部的考试工作进行抽查评价。按照《课程考试工作评价表》的要求重点审查命题和评卷、累分和材料的情况，看是否真实、准确、全面。评价结果及评价意见及时反馈给各系部，肯定在考试工作中的优点，指出工作中的缺点。对考评结果为不合格的教师进行整改和批评，并对考核评价结果信息进行反馈。起到表彰、教育全体教师和教育工作者的作用。
【参考文献】
[1]刘代汉，何新风.教师教学工作评价指标体系的研制[J].柳州职业技术学院学报，2006（3）
【基金项目】2014年度“国际职业教育学”赴德长期研修国家公派研究生留学基金项目（201408450030）；国家留学基金资助项目；广西高校中青年教师基础能力提升项目“中德高等职业院校人力资源开发比较研究”（2017KY0938）
【作者简介】刘传熙（1986— ），男，广西人，桂林师范高等专科学校讲师，助理研究员，中级“双师型”教师，德国德累斯顿工业大学“国际职业教育学”博士研究生，研究方向：职业技术教育。
（责编 黎 原）
【关键词】高职院校 课程考试工作 评价指标体系 研制
【中图分类号】G 【文献标识码】A
【文章编号】0450-9889（2018）03C-0058-03
课程考试是高职院校一项常规教学工作，也是一项重要的教学管理工作。做好课程考试工作，对于深化高职院校教学改革，提升人才培养质量具有重要的引领作用。因此，如何科学准确地评价课程考试工作质量是高职教学改革与教学管理研究的热点之一。本文结合课题研究和多年的课程教学工作实践，采用层次分析法建构“课程考试工作评价指标体系”，期望实现科学准确评价课程考试工作质量的目的。
一、课程考试工作内涵
（一）考试及其功能。考试在人力资源开发和人才选拔方面具有广泛的应用价值。考试有选拔性考试和检查性考试之分。高职院校的课程考试属于检查性考试，主要检查学生掌握课程知识程度、给教师提供调整和改进教学的信息、引导学生学习、激励师生教学积极性和上进心等功能。
（二）课程考试工作。课程考试工作主要包括命题和试卷制作、考试实施、成绩评定和分析、考试组织和管理工作等。涉及的教学部门主要有组织考试和管理的教务处、课程教学的教学系部和试卷印刷和保管等部门。考试工作涉及的人员主要有授课教师、监考教师、参加考试学生、教学秘书、系领导、教务处领导和管理人员、教学质量检查员或督导员、试卷管理员等。
二、课程考试工作评价指标体系的研制
（一）指导思想。课程考试工作评价指导思想是充分体现人才培养目标，符合课程考试管理规定，坚持质量标准，注重能力考核，促进科学制定考试命题和试卷制作、考试评卷和分析、考试组织和管理工作规范化，提高课程考试工作质量进而提高课程教学质量。
（二）课程考试工作质量标准。课程考试命题工作的质量标准为：试题内容的科学性；考核标准的准确性；评分标准的合理性；试题素材的公平性。
课程考试组织管理工作质量标准为：试题编制的规范性；考试程序的严肃性和完整性。
（三）课程考试工作评价指标体系研制的原则。课程考试工作评价指标体系的建立必须符合科学性原则、系统性原则和可行性原则。
1.科学性原则。科学性原则是指评价各项指标和要素的确定和評价方式的选择，体现了教育理论、学习理论和教学评价思想，符合教学规律，符合课程特点、课程考试大纲和课程教学内容标准，评价指标体系名称科学规范。
2.系统性原则。评价指标体系应是一个完整系统，内容涵盖整个课程考试工作各方面，同时体现课程考试工作流程。
3.可行性原则。评价的可行性原则一是指评价的指标和方法具备明晰、简便、易于操作和推广的特点，二是评价要素数据容易获取。
4.独立性原则。尽可能选择独立性评价指标，避免连锁反应。
（四）课程考试工作评价指标体系设计。具体如下：
1.评价指标。课程考试工作评价指标体系是根据课程考试工作质量标准和评价指标体系研制原则进行设计。设计中包含考试命题、试卷制作、考试评卷、考试分析、考试组织和考试管理等考试工作，一级评价指标有科学性和规范性2个评价指标，二级评价指标涵盖考试工作中必须完成的工作指标共9个，其中一级评价指标科学性对应的二级指标6个、规范性对应的二级指标3个。
2.权重。指标权重确定是构建量化指标体系的关键，有客观赋权法和主观赋权法两训种类型。本研究采用主观赋权法，请教学经验丰富的专家对各指标在考试工作中的重要程度来进行赋分。结果见表1。
三、评分方法
整个评价表共设计评价指标9个，分成科学性指标和规范性指标两类，总分为100分。各指标的评分方法分述如下。
（一）科学性指标评分。科学性指标评分是一个连续函数，用数学计算方法计算出指标的评分值。本研究共设计有6个科学性指标，采用专家评价法评定，可由教研室主任评定，各指标评分方法略有差异。
1.试卷效度。指内容效度，考试题目对有关内容或行为取样的适用性亦即试题内容与教学内容符合程度。效度V等于试卷取自教学内容知识点数N除以教学内容的总知识点数T，即V=N÷T。效度是一个正向指标，效度值越大越好，最大值为1.00，最小值为0。考虑到考试时间限制，本研究取V≥0.90时，效度指标分SV=1.00，V≤0.50效度指标分SV=0分。V值在0.89-0.51之间用内插法计算效度指标分SV，SV=（V-0.50）÷（0.9-0.5）。效度指标评分=SV×30。如N=16，T=20，则V=16÷20=0.80，SV=（0.80-0.50）÷（0.9-0.5）=0.75，效度指标评分=0.75×30=22.5分。
2.试卷难度。难度系数反映试题的难易程度。难度系数P的计算公式为：P=X÷F。X为考生平均得分值，F为满分值。检查性考试试卷难度要利于学生的学习，偏正态分布更能激发学生的学习积极性，同时也要考虑及格率，但一定的难度能增加区分度，有利于全面了解、掌握学生学习情况。因此，难度系数是一个中庸性指标，难度系数过高过低都不好。故本研究取 P=0.80时，难度指标分SP=1，P=0.80±0.20时，即P≥1.00或P≤0.60时，难度指标分SP=0分。P值在0.81-0.99或0.61-0.79区间，用内插法计算难度指标分SP，SP=1-（|P-0.80|÷0.20）。难度指标评分=SP×10。如F=100分的试卷，考生平均得分X=78分，则难度系数P=78/100=0.78。难度指标分：SP=1-（|0.78-0.80|÷0.2）=0.90，难度指标分=0.90×10=9分。 3.区分度。指试卷区分度，是试卷能有效区分出学生掌握知识、能力程度。区分度计算：先将分数排序，PH=27%高分组的难度系数，PL=27%低分组的难度系数，区分度D=PH-PL。D≥0.30时，区分度指标分SD=1.00；D≤0.10区分度指标分SD=0分。0.10
5.重复率。命题教师出卷2份，一份为A卷，一份为B卷。考试用卷任抽其一，不抽中者作为备用卷或补考卷。重复率C=n÷N，n为A、B两卷中相同试题数，N为卷试题量总数。重复率是一个反向指标，即重复率越高得分越低。为确保可作为备用或补考卷，同时，由于是课程检查性考试，因此允许A、B卷有一定的重复率。本研究取重复率C=0.00时，重复率指标分SC=1.00，C≥0.10时，SC=0.00。C值在0.01-0.10区间，SC=1-C。重复率评分=SC×5。如重复率为5%，则SC=1-0.05=0.95，重复率评分=0.95×5=4.75分。
6.正确率。指试卷成绩批改、计算、登录等工作正确率。正确率是一个正向指标。正确率按试卷数计算，正确率Z=100%，正确率分SZ=1.00，正确率95%时，正确率分=0.00。正确率在95%-99%之间，用插入法计算正确率分SZ=（Z-0.95）÷0.05。如，正确率为99.5%，则正确率分SZ=（0.995-0.95）÷0.05=0.90，正确率评分=SZ×5=4.5分。
（二）规范性指标评分。规范性指标是考试必须要做的工作，其评分一个非连续函数，因此，采用赋值法给出指标的评分值。本研究共设计有3个规范性指标，14个赋分点，除计划性指标赋分点分值為4分外，其余各赋分点的分值均为2分。各指标评分赋值标准如表1（7）、（8）、（9）。
四、课程考试工作评价表的实施
（一）建立考试工作组织机构。成立校系两级考务工作领导小组，校级领导小组下设的考务办公室挂靠教导处，负责考试管理工作，包括全校考试工作总体安排、试卷印制、装订、清点、核对、保管、发放等工作，对教师监考纪律、学生考风考纪、考试试卷复查等考试各环节组织管理、监督检查等，组织协调考试管理，确保考试工作顺利进行。系级协助教务处开展具体考试工作的安排，包括考试命题的审核、考试组织和考卷评定的检查等。考务组织机构的设置不仅是顺利开展考试工作的组织保障，也是进行课程考试工作评价的组织保障。
（二）制定考试工作规章制度。制订学校考试工作实施方案，对命题原则及要求、试卷制作要求、评卷标准要求等做出明确的规定。“课程考试工作评价”应为考试工作规章制度中的一项内容。
（三）学习和领会考试工作规章制度和课程考试工作评价标准。认真学习和研究《×××学校考试工作实施方案》和《课程考试工作评价表》，总结课程考试工作评价经验，分析存在问题，切实加强考试工作的管理。
（四）院系评价。各院系成立院系一级课程考试工作评价领导小组。院系考试工作评价由院系组织考试工作评价小组开展工作，考评小组由院系主任、副主任、教研室主任和教师代表组成，主任任考评小组组长。
教师自查。对照《课程考试工作评价表》，教师根据课程考试工作的要求进行对照并自查，自我评定是否达到合格以上标准。不达合格者则重做，达到上交教研室主任。
专业教研室主任评定。对照《课程考试工作评价表》，教师先向专业教研室主任汇报自查情况，然后上交考试材料。教研室主任按照要求严格审核并评价，不达合格者则返回重做，出现小问题必须指出并责令改正，达到合格才能上交系部。系部教学副主任按照考试工作规章制度和，《课程考试工作评价表》认真复核，只有达到合格才能上交学校教务处。
（五）学校抽查评价。学校考试工作评价小组每学期期末或者下学期期初对各系部的考试工作进行抽查评价。按照《课程考试工作评价表》的要求重点审查命题和评卷、累分和材料的情况，看是否真实、准确、全面。评价结果及评价意见及时反馈给各系部，肯定在考试工作中的优点，指出工作中的缺点。对考评结果为不合格的教师进行整改和批评，并对考核评价结果信息进行反馈。起到表彰、教育全体教师和教育工作者的作用。
【参考文献】
[1]刘代汉，何新风.教师教学工作评价指标体系的研制[J].柳州职业技术学院学报，2006（3）
【基金项目】2014年度“国际职业教育学”赴德长期研修国家公派研究生留学基金项目（201408450030）；国家留学基金资助项目；广西高校中青年教师基础能力提升项目“中德高等职业院校人力资源开发比较研究”（2017KY0938）
【作者简介】刘传熙（1986— ），男，广西人，桂林师范高等专科学校讲师，助理研究员，中级“双师型”教师，德国德累斯顿工业大学“国际职业教育学”博士研究生，研究方向：职业技术教育。
（责编 黎 原）