www.100xuexi.com 第5章 测量效度
5.1 复习笔记
一、效度概述 (一)效度的概念
(1)效度是指一个测验或量表实际能测出其所要测的心理特质的程度。关于效度的概念,要特别注意以下几点:
①效度是一个相对的概念。这种相对性表现在两个方面:效度是相对于一定的测量目的而言的;心理特质是较隐蔽的特性。
②效度是测量的随机误差和系统误差的综合反映。 ③判断一个测量是否有效要从多方面收集证据。
(2)一组测验分数的总变异包括三部分:真实的(稳定的)、与测量目的有关的变异;真实的、但出自无关来源的变异;随机误差的变异。
在测量理论中,效度被定义为:在一列测量中,与测量目的有关的真实变异数(由所要测量的变因引起的有效变异)与总变异数(实得变异数)的比率,即:
这里单位
代表测量的效度系数,
代表有效变异数,
代表总变异数。
(二)效度与信度的关系
信度高是效度高的必要而非充分的条件,测验的效度受它的信度制约。
二、效度的估计
1 / 153
www.100xuexi.com (一)内容效度 1.内容效度的含义
内容效度是指一个测验实际测到的内容与所要测量的内容之间的吻合程度。估计一个测验的内容效度就是去确定该测验在多大程度上代表了所要测量的行为领域。
2.内容效度的应用范围
内容效度主要应用于成就测验,用来测量被试掌握某种技能或学习某门课程所达到的程度。在这种测验中,题目取样的代表性问题是内容效度的主要考察方面。内容效度也适合于某些用于选拔和分类的职业测验。这种测验所要测的内容就是实际工作所需的知识和技能,编制这种测验应首先对实际工作做较细的分析。内容效度不适合用于能力倾向测验和人格测验。
3.内容效度的确定方法 (1)逻辑分析法
内容效度的确定方法主要是逻辑分析法,其工作思路是请有关专家对测验题目与原定内容范围的吻合程度做出判断。其具体步骤是:
①明确欲测内容的范围,包括知识范围和能力要求两个方面。
②确定每个题目所测的内容,并与测验编制者所列的双向细目表(考试蓝图)对照,逐题比较自己的分类与制卷者的分类,并做记录。
③制定评定量表,考察题目对所定义的内容范围的覆盖率、判断题目难度与能力要求之间的差异,还要考察各种题目数量和分数的比例以及题目形式对内容的适当性,等等,对整个测验的有效性作出总的评价。
(2)统计分析法
克龙巴赫还提出过内容效度的统计分析方法。其具体方法是:从同一个教学内容总体中
2 / 153
www.100xuexi.com 抽取两套独立的平行测验,用这两个测验来测同一批被试,求其相关。若相关低,则两个测验中至少有一个缺乏内容效度;若相关高,则测验可能有较高的内容效度。
(3)再测法
还有一种判断内容效度的方法是再测法。这种方法的操作过程是:在被试学习某种知识之前作一次测验,在学过该知识后再作同样的测验。这时,若后测成绩显著地优于前测成绩,则说明所测内容正是被试新近所学内容,进而证明该测验对这部分内容而言具有较高的内容效度。
(二)结构效度 1.结构效度的含义
结构效度是指一个测验实际测到所要测量的理论结构和特质的程度,即测验分数能够说明心理学理论的某种结构或特质的程度。
2.结构效度的特点
(1)结构效度的大小首先取决于事先假定的心理特质理论。
(2)当实际测量的资料无法证实理论假设时,并不一定就表明该测验结构效度不高,因为还有可能出现理论假设不成立,或者该实验设计不能对该假设作适当的检验等情况。
(3)结构效度是通过测量什么、不测量什么的证据累积起来给以确定的,因而不可能有单一的数量指标来描述结构效度。
3.结构效度的应用范围
结构效度主要用于智力测验、人格测验等一些心理测验方面。 4.结构效度的确定方法 (1)步骤
①提出理论假设,并把这一假设分解成一些细小的纲目,以解释被试在测验上的表现。
3 / 153
www.100xuexi.com ②依据理论框架,推演出有关测验成绩的假设。 ③用逻辑的和实证的方法来验证假设。 (2)结构效度的估计方法
①测验内部寻找证据法:可以考察该测验的内容效度;可以分析被试的答题过程;可以通过计算测验的同质性信度的方法来检测结构效度。
②测验之间寻找证据法:可以去考察新编测验与某个已知的能有效测量相同特质的旧测验之间的相关;也可以去考察新编测验与某个已知的能有效测量不同特质的旧测验间的相关;通过因素分析的方法来了解测验的结构效度。
③考察测验的实证效度法:如果一个测验有实证效度,则可以拿该测验所预测的效标的性质与种类作为该测验的结构效度指标来推论测量的结构效度。这里有两种做法:
a.根据效标把人分成两类,考察其得分的差异。
b.根据测验得分把人分成高分组和低分组,考察这两组人在所测特质方面是否确有差异。若两组人在所测特质方面差异显著,则说明该测验有效,具有较高的结构效度。此外,对于一些被认为是较稳定的特质,若在短期内两次施测的结果差异不太大,则说明该测验符合理论构想。
④多种特质——多种方法矩阵法:该方法实质是相容效度和区分效度法的综合运用,其原理是若用多种极不相同的方法测量同一种特质相关很高(用极为相似的方法测量不同特质相关很低),则说明测量效度较高。
(三)实证效度 1.实证效度的含义
实证效度,也称效标关联效度,是指一个测验对处于特定情境中的个体的行为进行估计的有效性。即一个测验是否有效,应该以实践的效果来作为检验标准。被估计的行为是检验
4 / 153
www.100xuexi.com 测验效度的标准,简称为效标。
2.实证效度的种类及作用
根据效标资料搜集的时间差异,实证效度可以分成同时效度和预测效度两种。 (1)同时效度:效标资料是与测验分数同时搜集的。同时效度主要用于诊断现状,在于用更简单、更省时、更廉价和更有效的测验分数来取代不易搜集的效标资料。
(2)预测效度:效标资料是在测验之后根据实际工作成绩来确定的。预测效度的作用在于预测某个个体将来的行为。
3.效标
(1)效标就是衡量一个测验是否有效的外在标准,它是独立于测验并可以从实践中直接获得的人们所感兴趣的行为。
(2)人们所感兴趣的行为往往是一个观念上的东西(观念效标),它必须用一个数字或等级来进行表达(效标测量)。其中,效标测量的特点有:多样性、复杂性、特殊性、时间性。
(3)效标测量要想较好地体现观念效标,效标测量本身就必须是有效的和可靠的,而且还必须客观、实用。
4.实证效度的确定方法 (1)实证效度的确定步骤
明确观念效标;确定效标测量;考察测验分数与效标测量的关系。 (2)实证效度的估计方法
①相关法:实证效度的一种常用估计方法是计算测验分数与效标测量的相关系数(积差相关法、等级相关法、二列相关法、四分相关法等)。
②区分法:该方法的思路是,被试接受测验后,让他们工作一段时间,再根据工作成绩
5 / 153
相关推荐: