Z君所在的小组有5位竞争者参与面试，一整天面试下来，Z君感觉有两个应试者表现不错。尤其下午的一位尤为突出，答辩思路敏捷，层次清晰，重点突出，而且口才也不错。当然，仪表也是作了充分的准备。
面试结束后，Z君和其他几位考官对五个应聘者的表现开始交换看法。令人郁闷的是，尽管有评分标准，可是四位考官对五个应聘者的判断还是大相径庭。尤其是Z君认为表现最好的那一个面试者，被一位主考官定性为\经常参加各种面试的老油子，靠不住！\君和其他几位考官商量了很久也没有一致结论。眼看时间不够用了，只好将四个人的评价结果交给公司，请公司相关领导定夺。
问题：（1）从技术上如何解决这四位主考官的争议？
（2）针对此次招聘面试，你还有哪些建议？
解答:
（这个案例考察了学生对评分者信度相关知识的理解和认识程度。）
（1）从以上案例可以看到，四个评分者之间存在一定的误差。从技术上讲，通过以下几个步骤可以解决这个问题。
第一，对评分者进行培训。使得四位主考官对于评分标准的把握具有一致的认识。而从案例的描述来看，Z君到达面试组之后，主试成员之间只是迅速地进行了一下交流后就仓促进行面试，在这种情况下，主试成员之间实际上很可能对评分标准没有达成一致意见。
第二，计算四个评分者的测量误差。具体的方法是采用评分者信度这个指标。评分者信度（raters reliability）是指不同评分者对同样对象进行评定时的一致性。当由两个独立的评分者打分时，一般可以采用积差相关方法，也可以采用
斯皮尔曼等级相关方法。如果评分者在三人以上，而且又采用等级记分时，就需要用肯德尔和谐系数来求评分者信度。其公式为：
其中，K是评分者人数，N是被评的对象数（通常是考生数，每个考生一份试卷），
是第i个被评对象（考卷）被评的水平等级之和。S表示为
离开
的平均值的离均差平方和。在这个案例中，因为有四个评分者，因此，可以采用以上的公式对评分者信度进行计算。
第三，如果评分者的信度较低（低于0.7，且统计上差异显著），则可以判断四个主试之间的差异较大，应该慎重对待该结果。最好通过其他方法对五个应聘者进行再次考察。如果信度较高（高于0.7且统计上差异显著），则说明四个主考官的差异不大。此时，可以综合考虑四个评分者的判断而得出结果。
（2）主要的启示有以下几个方面。
首先，从案例中，Z君对那个优秀人员判断是\答辩思路敏捷，层次清晰，重点突出，而且口才也不错。当然，仪表也是作了充分的准备。\。从这些依据来看，Z君并没有依靠测评维度对这个人进行判断，而更多是通过整体印象做出的判断。如果这些描述恰恰是评分标准的描述，则说明评分标准过于笼统，没有具体化。
其次，与纸笔测验相比，面试的掩饰性会小很多。但是，在面试中也存在掩饰的可能性。因此，如果条件允许的话，面试的评分标准中应该加上一个测谎的维度。这样会避免出现有人认为是个优秀人才，有人认为是个老油子的争议出现。
第三，如果在每面试一个应聘者之后就简单讨论一下（或者在上午结束时，先讨论一下），则也可能会降低主试之间的不一致性。五个应聘者面试结束之后再进行讨论，此时的信息量较大，会增加讨论的难度。
2.王志是人力资源部负责培训的主管。近来的一件事情让他非常苦恼。
为了督促学员学习的积极性，也为了检验培训的有效性，在每次培训结束之前，王志都要组织一次相关考试。考试的题目由培训师来出，培训师还要给出标准答案和评分要点，然后由人力资源部负责评分。
可问题是，从每次的考试结果来看，学员们的成绩都是优秀。时间长了，学员们认为这些考试都是走过场，根本不起作用，因此培训时的积极性也不高。发现这个问题后，人事经理决定改革评分的方法。开始采取强制分布的方法，即5%的不及格、15%的优秀率。可是，由于学员们的成绩都很好，王志在强制排序的时候很难决定。无奈之下，王志最后只好找答卷中的一些小毛病，如字迹不清楚、书写潦草等，给了一些人低分。结果搞得很多人不服气。
问题：（1）请用测评分数解释的相关理论来分析当事人（王志）遇到的苦恼。
（2）请给当事人（王志）提出一些建议。
解答:
（本题考察学生对效标参照分数和常模参照分数的理解。）
（1）王志遇到的问题涉及到对测验分数的解释依据何种标准。按照测评分数的解释的理论，至少存在两种分数解释的体系：常模参照分数解释和效标参照分数的解释。
常模样本通常是具有某种共同特征的人所组成的一个群体，或是该群体的一个样本。常模是指从常模群体那里得到的一组数据的分布。常模参照分数的解释是指由测量的原始分数通过与常模的对照得到的可供比较的导出分数。
效标参照分数是指依据外在的效标作为效标对应试者的分数进行解释。效标参照分数又可以分为内容参照分数和结果参照分数。内容参照分数（content referenced score）的测量目的是确定应试者对某个确定材料内容或技能的掌握和熟悉程度的分数。由于比较的对象不是其他人，而是掌握的内容多少。成就测验就是典型的内容参照测验。在人事管理中，常常会用到这种类型的测验。例如，为了解新员工是否掌握培训班所授知识或岗前培训是否达到预定要求而进行的测验，就是内容参照测验。
相关推荐：
loading