效度与项目分析

本节导读

这一节对应大纲心理测量学第六章「测验效度」和第七章「项目分析」。信度回答「测得稳不稳」，效度回答「测得准不准」；项目分析则逐题检查每道题的难度和区分度，决定题目的去留。

单项选择题可能让你由信度推算效度的上限，判断某种做法收集的是哪一类效度证据，或算命中率、项目难度和鉴别指数；名词解释可能考「效度」「表面效度」「效标」「鉴别指数」；简答可能考影响效标效度的因素、难度与区分度的关系。

效度的性质

效度是一个测验能够测量到它所要测量的心理特质的程度，即测量的准确性。按经典测验理论，实得分数的方差可以分为与所测特质有关的有效方差、与所测特质无关的系统误差方差和随机误差方差，效度就是有效方差在实得分数方差中所占的比例。

效度和信度的关系：信度是效度的必要条件，但不是充分条件——信度低，效度不可能高；信度高，效度不一定高。效度系数的最大可能值是信度指数，即信度系数的平方根：

$$r_{XY}\le\sqrt{r_{XX}}$$rXY​≤rXX​​

影响效度的误差来源有三方面：测验组成方面（题目取样、难度、长度、指导语等）；测验实施方面（施测程序不标准、环境干扰等）；被试反应方面（动机、焦虑、反应定势等）。效度的类型通常分为内容效度、构想效度和效标效度。

内容效度

内容效度是测验题目对所要测量的内容范围的代表性程度。它有两个前提：要有定义得完好的内容范围；测验题目应是这一范围的代表性取样。

确定内容效度的方法有：专家判断，请熟悉内容的专家对照双向细目表逐题判断题目是否覆盖了内容范围、比例是否恰当；统计分析，如用两个独立编制的复本求相关，或比较不同评判者判断的一致性；经验法，比较学习或训练前后、不同年级被试的成绩，内容效度好的学绩测验在学过之后成绩应明显提高。

内容效度有特定性，只对特定的内容范围和对象有效。它常与表面效度混淆：表面效度是外行人或被试从表面上看测验像不像在测它要测的东西，只是一种主观印象，不是真正意义上的效度。内容效度主要用于学绩测验和职业技能测验，不太适用于能力倾向测验和人格测验。

构想效度

构想效度是测验能够测量到理论上的构想或特质的程度，是最综合、也最需要多方面证据积累的效度。确定的方法有：

方法	做法
测验内方法	分析测验的内容效度、内部一致性，研究被试对题目的反应过程
测验间方法	求与其他测验的相关：与测量同一构想的测验应高相关（聚合效度），与测量不同构想的测验应低相关（区分效度）；用因素分析找出测验测到的因素
研究测验的效标效度	测验与理论上应有关的效标是否相关
考察实验变量对测验分数的影响	施加训练、情境操纵后，分数的变化是否符合构想的预期
搜集某些变异上的证据	年龄差异、团体差异是否符合理论，如某种量表能否把临床确诊的人与一般人区分开

效标效度

效标

效标效度是测验分数与效标之间的一致性程度，也就是测验对个体某种行为表现的预测程度。效标是衡量测验有效性的外在参照标准，效标测量是效标的具体可测量的指标。好的效标测量要有效、可靠、客观、简便实用。常用的效标有学业成就、等级评定、临床诊断、专业训练的成绩、实际的工作表现、对照团体以及已经证明有效的测验。如果评定效标的人事先知道被试的测验分数，就可能出现效标污染，人为地提高效度。

按效标资料获得的时间，效标效度分为同时效度（效标资料与测验分数大致同时获得）和预测效度（效标资料要在测验以后一段时间才能获得）。

确定效标效度的方法

方法	做法
相关法	求测验分数与效标分数的相关，这个相关系数就是效度系数
区分法	按效标把被试分成表现好、表现差两组，检验两组的测验分数差异是否显著、分布重叠多少
命中率	以测验分数作决策，看决策正确的比例：总命中率是预测正确的人数占全部人数的比例；正命中率是预测为合格的人中实际合格者的比例
功利率	从经济收益的角度，看用测验作决策比不用测验能带来多少效益

影响效标效度的因素

大纲列了四条：测验的长度，测验的信度会制约效度；被试的取样，被试团体越同质、分数范围越窄，效度系数越低；所用的效标，效标本身的信度和有效性；干涉变量，年龄、性别、动机等变量会使测验对不同亚团体的效度不同。此外还要考虑效度资料的概化，即在一种情境、一类人群中得到的效度，能在多大程度上推广到别的情境和人群。

项目难度

难度是题目的难易程度，常用通过率 $P$P 表示，$P$P 越大题目越容易：