图书在版编目（CIP）数据

如果你不知道读什么书或者想获得更多免费电子书请加小编QQ：2338856113 小编也和结交一些喜欢读书的朋友 或者关注小编个人微信公众号名称：幸福的味道 获得上百个书单 为了方便书友朋友找书和看书，小编自己做了一个电子书下载网站，网址：http://www.ireadweek.com 如于某种原因，经常换网址 如果打不开，可以qq联系我

认知诊断评价理论基础/罗照盛著.—北京：北京师范大学出版社，2019.2

（高级心理测量学丛书）

ISBN 978-7-303-23693-0

Ⅰ.①认… Ⅱ.①罗… Ⅲ.①心理测量学 Ⅳ.①B841.7

中国版本图书馆CIP数据核字（2018）第094102号

营销中心电话　　　　　　　　　　　　010-58805072 58807651

北师大出版社高等教育与学术著作分社　http://xueda.bnup.com

RENZHI ZHENDUAN PINGJIA LILUN JICHU

出版发行：北京师范大学出版社 www.bnup.com

北京市海淀区新街口外大街19号

邮政编码：100875

印　　刷：保定市中画美凯印刷有限公司

经　　销：全国新华书店

开　　本：787mm×1092mm 1/16

印　　张：10.5

字　　数：195千字

版　　次：2019年2月第1版

印　　次：2019年2月第1次印刷

定　　价：51.00元

策划编辑：何琳　　责任编辑：李云虎 宋星

美术编辑：李向昕　装帧设计：金基渊

责任校对：李云虎　责任印制：马洁

版权所有 侵权必究

反盗版、侵权举报电话： 010-58800697

北京读者服务部电话：010-58808104

外埠邮购电话：010-58808083

本书如有印装质量问题，请与印制管理部联系调换。

印制管理部电话：010-58805079

高级心理测量学丛书编委会

主　编： 戴海琦 丁树良

编　委： （按音序排名）

蔡艳 戴步云 董圣鸿 高椿雷

高旭亮 罗芬 罗照盛 宋丽红

涂冬波 汪文义 熊建华 喻晓峰

郑蝉金

总序

心理与教育测量是评价个体心理特质发展水平状态的重要手段。以项目反应理论为代表的现代测量理论的发展，为指导心理与教育测量研究及实践提供了强大的理论与技术支持。在项目反应理论基础上的参数估计、等值、信息量评价、项目功能差异甄别等技术保证了测验开发更加科学。最近十几年蓬勃兴起的认知诊断评价理论，则将测量理论与技术推向了更加精细化的评价水平上。

不过，在国内的心理与教育测量实践中，大多数研究和实践仍然主要是基于经典测量理论基础上的。许多试图使用现代测量理论为指导的研究者由于担心无法很好地把握该理论的原理和方法望而却步。为了让现代测量理论的发展研究成果能够更多地用于指导研究和实践工作，测量学研究者应该做出更多的努力。

江西师范大学心理与教育测量研究中心团队在漆书青、戴海琦、丁树良等教授的带领下，从20世纪80年代初开始对现代测量理论进行深入研究，取得了许多理论和实践研究成果，研究团队也进一步发展壮大。随着研究的深入以及研究领域的进一步拓展，加之现代测量理论受到越来越多研究者的关注，江西师范大学心理与教育测量研究中心团队顺应形势和发展需要，基于自身近30年的理论研究和实践积累，出版一套关于高级心理测量的丛书，这是心理与教育研究领域的一件有益之事，也必将进一步推动心理与教育测量理论与技术在中国的发展。

2012年，该团队曾经出版了一套围绕项目反应理论研究的丛书，该丛书的出版取得了很好的反响。现在，该团队在前期研究和实践的基础上，准备再出版一套关于高级心理测量的丛书，我听后感到非常高兴，且对中国在现代测量理论领域的发展前景充满信心和期待。

高级心理测量学丛书主要有：《计算机化自适应测验：理论与方法》《认知诊断理论》《认知诊断评价理论基础》《高级认知诊断》《Q矩阵理论及认知诊断测验的编制》以及《智慧化测评的理论与技术》等著作。这套丛书包括了当今国际上比较前沿的研究领域，涉及计算机化自适应测验、认知诊断理论和智慧化测评等，这对于推动中国的心理测量学发展及其为实践服务具有重要意义。

值此丛书即将付梓出版之际，作为与江西师范大学心理与教育测量研究团队交流合作多年的同行，我倍感欣慰，特作此短序以示祝贺，并希望他们在今后取得更多的研究成果和更大的发展。

于美国伊利诺伊大学香槟校区

2017年5月

张华华教授简介

专业领域：心理学、教育心理学、统计学。

美国伊利诺伊大学香槟校区（University of Illinois Urbana-Champaign）终身教授，世界著名心理测量学杂志《应用心理测量》（Applied Psychological Measurement ）主编，世界心理计量学会2012—2013年主席（President of the International Psychome-tric Society for 2012—2013），全美教育研究学会院士（AERA Fellow）。

前言

经典测量理论在指导实践的过程中暴露出许多不足和矛盾，如理论假设很难实际界定和操作、参数依赖于样本、项目特性与被试特性之间没有建立内在联系，等等。项目反应理论作为心理与教育测量理论新的发展成果，具有经典测量理论无法比拟的优势。项目反应理论很好地解决了经典测量理论存在的一些问题，因此，在指导研究实践中具有更强的生命力。认知诊断评价理论则能够对被试进行更加细致的诊断性评价，发现被试发展中的不足，并提出有针对性的补救措施，因此受到越来越多的研究者和实践者的关注。

然而，无论项目反应理论还是认知诊断评价理论，其推广和应用均受到许多因素的阻碍，以至于只有专门从事测量学基础理论研究的学者才能较好地理解和掌握它们，而其他心理学和教育学研究者只能继续使用经典测量理论的方法和技术。这使得项目反应理论和认知诊断评价理论的优势无法转变成现实应用。影响项目反应理论和认知诊断评价理论推广和应用的主要因素有：①理论模型相对比较复杂，包含许多数学函数，这让许多学者只能退而求其次；②这些理论的方法和技术的实现过程比较复杂，包含一系列的参数估计过程，这个过程又涉及许多数理统计的知识，这让许多学者又望而却步；③相对于经典测量理论可以使用如SPSS等软件，项目反应理论及认知诊断评价理论中各种参数和技术的应用没有简单易用的计算机软件支持；④测量学研究者与心理学、教育学其他领域的广大实践应用者之间缺乏足够的交流。以上因素使测量学基础理论研究者与其他领域的研究者之间相互隔离，无法相互学习、相互促进。

我一直希望能够拉近测量学理论研究者与心理学、教育学等其他领域研究者之间的距离，使测量学理论的最新研究成果能够应用于心理学和教育学的研究和应用实践，而心理学和教育学的研究和应用实践又反过来促进测量学理论和技术的发展。为了达到这个目的，我希望能够撰写两本书来介绍关于项目反应理论和认知诊断评价理论的基础知识。在此写作原则基础上，《项目反应理论基础》一书已经在几年前出版，而本书主要介绍认知诊断评价理论的一些基础知识。

本书的写作原则有三个。

一是内容要具有基础性和启发性。所有内容为认知诊断评价理论的基础性内容，为读者理解认知诊断评价理论中的模型、技术和方法，打下了较好的基础。许多内容的选择是为了启发读者进一步理解该领域其他相似的内容。

二是内容叙述要更加通俗。本书力求把认知诊断评价理论中的原理、技术、方法通过文字的形式和更加简单的式子呈现给读者，尽量从一个未接触认知诊断评价理论的心理学或教育学研究者的角度，来剖析认知诊断评价理论中的各种原理、技术和方法，尽量通过日常实例进行讲解。

三是内容要与国内外发展接轨，概念能反映国际的统一界定。

本书共包括十章内容：第一章主要讲述了经典测量理论与项目反应理论的发展，以及认知诊断评价理论的兴起及其相对已有测量理论的优势；第二章主要介绍了与认知诊断评价理论有关的一些认知心理学基本概念；第三章则介绍了认知诊断评价理论本身的一些基础性概念；第四章介绍了认知诊断评价理论的一些基本假设及其检验方法；第五章介绍了认知诊断测验及题目属性的定义方法；第六章介绍了认知诊断评价理论的一些代表性模型；第七章讲述了认知诊断评价理论模型项目参数与被试参数估计的原理，及各种常用的参数估计方法，并用实例进行了讲解；第八章介绍了认知诊断评价测验的编制方法与过程；第九章介绍了认知诊断计算机化自适应测验的编制方法；第十章介绍了认知诊断测验中正在发展的一些专题，主要是关于测验信息函数和等值的内容。

此书是本人在20多年的学习、研究和实践的基础上，根据个人理解写成的。喻晓锋博士为参数估计一章中的各种参数估计方法提供了详细的示例，郭小军博士为本书的写作查阅了大量的文献。

由于认知诊断评价理论本身受到关注的时间并不是很长，许多问题仍然在研究中，再加上写作时间较紧，有些问题的叙述不一定完全恰当，如有不妥之处，敬请不吝指正。

在本书即将完成之际，特别感谢本人学术生涯中的各位指导老师：张厚粲教授、漆书青教授、戴海琦教授、丁树良教授、张华华教授，他们在我求学的不同阶段给予了我悉心的指导和关心。师恩永不忘！另外，也要感谢江西师范大学心理测量学研究团队所有成员的支持，大家一起努力才有了我们心理测量学研究的不断深入发展以及学术事业长青。

罗照盛

2019年春

- 第一章 绪论

- 第一节 心理测量学简述

- 一、心理测量活动的广泛性

- 二、心理特质的可测性

- 三、心理测量的间接性

- 四、测量误差的普遍性

- 第二节 从经典测量理论到项目反应理论

- 一、经典测量理论的优势和不足

- 二、项目反应理论的优势和不足

- 第三节 认知诊断评价理论的兴起

- 一、认知诊断评价理论的主要优势

- 二、认知诊断评价理论的主要发展历程

- 三、认知诊断评价理论的主要研究内容

- 第二章 认知心理学中的一些相关概念

- 第一节 认知心理学简述

- 一、认知心理学理论流派的兴起

- 二、人类信息加工的观点

- 三、信息输入、存储和提取

- 第二节 认知诊断评价与认知心理学

- 一、认知诊断评价中的问题任务

- 二、认知心理学对定义问题任务的指导作用

- 第三章 认知诊断评价理论的基础概念

- 第一节 关于诊断

- 第二节 属性及其结构

- 一、属性

- 二、邻接矩阵

- 三、可达矩阵

- 第三节 测验属性的定义

- 一、关联矩阵

- 二、缩减Q矩阵

- 第四节 被试的理想属性掌握模式和理想反应模式

- 一、理想属性掌握模式

- 二、理想反应模式

- 第四章 认知诊断评价理论的基本假设及其检验

- 第一节 认知诊断评价理论的基本假设

- 一、作答过程真实性假设

- 二、局部独立性假设

- 三、补偿性假设

- 第二节 认知诊断评价理论假设检验

- 一、作答过程真实性检验

- 二、局部独立性检验

- 三、补偿性检验

- 四、模型-资料拟合检验

- 五、被试-模型拟合检验

- 第五章 测验与题目属性的定义

- 第一节 测验领域认知模型的定义

- 一、领域认知模型的参考架构

- 二、领域认知模型的构建

- 第二节 题目属性定义和检验

- 一、题目属性的事先定义

- 二、题目属性的事后定义和验证

- 第六章 认知诊断评价理论的代表性模型

- 第一节 规则空间方法

- 一、规则空间建立

- 二、被试属性掌握模式分类

- 第二节 属性层级方法

- 一、属性层级

- 二、基于属性层级的被试属性掌握模式诊断

- 第三节 DINA模型

- 一、模型定义

- 二、模型的特性

- 第四节 NIDA模型

- 一、模型定义

- 二、模型的特性

- 第五节 G-DINA模型

- 一、DINA模型的局限

- 二、G-DINA模型的定义

- 第六节 GDM模型

- 一、模型定义

- 二、模型的特性

- 第七节 从统一模型到RRUM模型

- 一、统一模型

- 二、重参数化统一模型或融合模型

- 三、RUM模型的进一步简化：RRUM模型

- 第八节 海明距离判别法：一种非参数认知诊断评价方法

- 一、海明距离

- 二、定义测验反应模式间的海明距离

- 三、海明距离判别法在认知诊断分类中应用的合理性

- 四、应用海明距离判别法进行认知诊断分类

- 第七章 参数估计

- 第一节 几个基础概念

- 一、极大似然估计

- 二、牛顿-拉夫逊迭代

- 三、贝叶斯估计、先验分布、后验分布

- 第二节 项目参数的条件估计

- 一、边际分布

- 二、边际极大似然估计及其EM算法

- 三、边际极大似然估计示例

- 第三节 被试参数的条件估计

- 一、经典条件估计

- 二、极大后验估计

- 三、期望后验估计

- 第四节 马尔可夫链蒙特卡洛方法

- 一、基本思想

- 二、马尔可夫链的建立方法

- 三、马尔可夫链的使用

- 第八章 认知诊断评价测验的编制

- 第一节 认知诊断评价测验设计及题目编写

- 一、认知诊断评价测验设计目标

- 二、认知设计系统

- 三、测验题目与属性的组合模式设计

- 第二节 项目与测验质量评价

- 一、项目质量评价

- 二、测验质量评价

- 第九章 认知诊断计算机化自适应测验

- 第一节 题库建设

- 一、题目编制

- 二、参数标定

- 三、题库组织

- 第二节 选题策略

- 一、测验初始阶段的选题策略

- 二、测验精确估计阶段的选题策略

- 第三节 认知诊断计算机自适应测验的其他主题

- 一、被试属性掌握模式估计

- 二、测验终止规则

- 三、结果报告

- 第四节 题目在线更新

- 一、题目内容更新

- 二、在线标定数据采集方式设计

- 三、参数的在线标定方法

- 第十章 认知诊断评价理论其他专题

- 第一节 信息、信息熵、信息量

- 一、信息熵与互信息

- 二、自信息

- 三、KL散度

- 四、Fisher信息

- 五、Fisher信息与相对熵KL散度之间的关系

- 六、香农熵与相对熵KL散度之间的关系

- 七、互信息与相对熵KL散度之间的关系

- 八、条件熵与相对熵KL散度之间的关系

- 第二节 等值和垂直量表化

- 一、等值

- 二、垂直量表化

- 参考文献

第一章 绪论

摘要：心理测量学理论从经典测量理论发展到项目反应理论和认知诊断评价理论，反映了社会对心理测量结果和过程精确化的要求。本章简要回顾了心理测量学理论的发展过程，重点介绍了认知诊断评价理论的提出及其主要研究内容。

心理测量是通过各种方法给我们的心理特质赋值的过程，心理测量学研究的是如何保证赋值结果稳定且有效，为此，心理测量学需要研究测量工具的质量、测量过程的质量以及赋值方式的质量。

第一节 心理测量学简述

心理测量学研究心理测量活动，以如何有效测量人的心理现象为目标。心理测量活动包括测量的对象、测量的方法与技术、测量结果的解释与应用。心理测量学理论则研究心理测量活动的一般规律，包括心理特质的赋值理论、测量方法及过程的质量保证、测量结果的分析与应用。

一、心理测量活动的广泛性

当今社会，心理测量活动几乎无处不在。从人的发展来看，升学升级要测验，应聘谋职要测验，执业上岗要测验，晋职晋级要测验。从人的素质来看，评估人的心理发展水平有心理成熟测验；评估人的智力发展水平有智力测验；评估人的心理健康水平有心理健康测验；评估人的人格特征有人格测验；评估人的学业水平有教育成就测验；评估人的职业能力有执业资格测验；评估人的学术潜力有学术性向测验。从社会行业来看，金融、文化、教育等行业，三百六十行，行行有考试。心理测量是社会管理的重要途径，心理测量应用的广泛性标志着社会的发展和进步。心理测量的繁荣发展既对心理测量本身提出了更高的要求，同时也呼唤更多的专业人员关心和从事该项事业，去研究测量理论、钻研测量技术，开发出更多更好的心理测量方法。

二、心理特质的可测性

心理测量学作为一门科学，研究的是测量的理论与技术。但由于人类心理现象的复杂性和非物质性，心理测量学首先要回答的一个基本理论问题，就是人的心理特质到底能不能被测量。俗话说人心难测，如果人的心理根本不能测量，那么心理测量学就不是一门科学。人的心理可测吗？1918年，现代心理测量学的创始人之一，美国心理学家爱德华·桑代克（Edward Lee Thorndike）提出：凡客观存在的事物都有其数量。另一位美国测量学家威廉·麦柯尔（William A.McCall，1939）进一步指出：凡有其数量的事物都可以测量。事实上，“从辩证唯物主义的观点看，任何事物都是质和量的统一，事物的质的差异是分类的前提，而事物的量的差异则是测量的前提”。心理学的研究已经证明，人的心理既有质的不同，也有量的差别。质的不同提供了定性分析的基础，量的差别提供了测量的基础。

人的心理是主观的、内隐的，难以直接测量。但是，人的心理可以通过人的外显行为表现出来，心理状态也影响着人的实际行为表现。人的行为是外显的，是客观存在的，是可以被观察到的，因此我们可以通过测量人的外显行为来推测人的内部心理状态。

另外，认知神经科学认为，人类的心理现象总是可以表现为特定的神经活动过程和状态，于是，我们可以通过直接观察人类神经活动的规律来测量人的心理现象。然而，这种测量方式当前还存在很大的局限性：一是很难大规模应用于测量群体心理特质水平；二是由于心理现象的整体性和复杂性，许多复杂的心理现象还很难通过这种方式进行精确测量。

三、心理测量的间接性

基于以上分析，就当前的科学研究发展水平而言，人的许多心理现象还难以进行直接测量，只能通过测量人的外部行为来推测人的心理状态。因此，心理测量仍然主要是一种间接的测量活动。与直接测量相比，间接测量的难度更大，可能的测量误差源比较多。要做好间接测量必须设计好中介媒质。物理测量中也有间接测量，如测气温。我们通常根据温度计的读数报告气温，实际上我们读的是温度计中水银柱的高度，这里水银是测气温的中介媒质。我们利用的是水银的热胀冷缩性质，利用的是在温度计内横截面积不变的条件下，水银柱的高度与外界温度之间的线性函数关系。心理测量活动的中介媒质是人的外显行为，利用的是人的外显行为与人的内部心理的关系。作为测量中介媒质的外显行为种类众多而且复杂多变，外显行为与人的内部心理的关联度也有高有低，加上人还有保护自身安全的社会心理防御机制，使得同是间接测量的心理测量，要比温度测量的难度更大。

四、测量误差的普遍性

任何测量活动都是存在误差的。各种误差的区别只在于误差的性质、误差的大小、误差的来源和误差控制的难度。任何测量活动要想完全消灭测量误差是不可能的。心理测量活动也不可能例外。心理测量活动不仅存在误差，而且相对于其他一些测量活动来说，存在的误差较为复杂。从一定意义上说，研究心理测量活动的主要任务也是最富挑战性的任务，是如何控制测量的误差。

（一）测量误差的类型

心理测量活动中的误差有两种类型，一种是随机误差，另一种是系统误差。

测量的随机误差是指测量所得观察值与欲测特质真实值之间的差异值，其大小和方向都会随机变化。测量的系统误差是指测量所得观察值与欲测特质真实值之间的差异值，其大小和方向都不变。举一个简单的例子，我们用一台灵敏度极高的台秤反复称同一件物品，会发现每次的测值都不一样，有时重一点，有时轻一点，这就是测量的随机误差。如果这台秤的托盘不经意间被换成了一个比原托盘重5克的托盘，那么无论哪次秤，秤什么，物品的重量读数都会比它的实际重量少5克，这就是测量的系统误差。心理测量活动中出现测量误差的情况要比此例复杂得多。在通常情况下，心理测量的随机误差和系统误差是与实际观察值共居一体、混淆难分的，我们的任务是要将它们从实际观察值中分离出来，评估它们的大小，研究进一步控制它们的办法。

（二）测量误差形成的原因

心理测量误差出现的原因是多方面的。

首先，作为测量目标的人的心理特质的特殊性使得测量容易产生误差。我们说，人的心理特质具有内隐性、抽象性，也就可能造成我们对测量目标的认识不清晰，导致我们对它的测量产生误差。另外，人的心理特质还具有不稳定性，受测者即时的生理、心理状态的不同都会导致所测特质的波动起伏，从而导致误差的产生。再者也可能是受测者未掌握正确的作答技能，致使作答不能代表其真实水平。还有一种特殊的情况是受测者故意掩饰他真实的想法致使测验对他的评价出现误差。

其次，使用质量不高的测量方法可能造成测量误差。心理测量是间接测量，我们要靠编制工具“刺激”出人的外显行为来推测人的心理。那么，如果所编的“刺激”项目引出的外显行为不是欲测心理特质的代表性行为，或所编的“刺激”项目只引出了欲测心理特质的一部分行为，或引出的外显行为不是那么清晰和稳定，也都会造成测量误差。

最后，心理测量活动的施测过程和施测环境安排控制不当也可能造成测量误差。比如，施测过程没有统一要求，测试指导语没有统一版本，反应起始时间和长短不统一，测试时的内外环境使被试不能集中精力，都可能造成测量误差。一种特殊的情况是测试过程失控、纪律混乱，由舞弊而导致测量误差，这种情况就更为严重。

心理测量活动中主试自身的一些因素也可能造成测量误差。就目前的技术水平而言，心理测量对主试还有较多依赖。测量工具是由主试使用的，主试对所测心理特质的理解有误，就会导致测量误差；测量是由主试主持的，主试实施的程序有误，也会导致测量误差；测量结果是由主试评定的，评分标准掌握不准确也会导致测量误差。

心理测量学理论可以指导我们给心理特质合理地赋值。当前，心理测量学理论研究的焦点主要是经典测量理论、项目反应理论和认知诊断评价理论。另外，概化理论也受到许多关注。

第二节 从经典测量理论到项目反应理论

一、经典测量理论的优势和不足

经典测量理论（classical test theory，CTT）围绕着真分数（true score）的概念建立了第一代心理测量学理论架构，认为测量所得观察分数等于真分数加上误差分数，真分数包括目标真分数和非目标真分数（系统误差分数），误差分数是随机误差影响的结果。目标真分数是研究者希望测量到的心理特质的实际水平值，记为V ；随机误差分数是在测量过程中由于各种随机误差因素影响而产生的分数，记为E ；非目标真分数是由于系统性误差的影响产生的分数，记为I 。随机误差分数和非目标真分数都是误差分数，是测量者要严加控制乃至希望消除的测量值。测量学还将目标真分数与非目标真分数合在一起称为真分数，记为T 。真分数是使用测量工具实际观察到的稳定的测量值，真分数中不含随机误差分数，但它含有我们主观上不想测量但实际上却测量到了的非目标真分数。经典测量理论进一步假设：真分数T 是目标真分数V 与非目标真分数I 的线性组合，观察分数X 是真分数T 和随机误差分数E的线性组合，即

经典测量理论还假设目标真分数、非目标真分数与随机误差分数都是相互独立的。由此推得以下两个公式：

上面公式中的符号分别代表各种相应分数的方差。方差代表的是分数离散程度的大小，同时也说明了相应因素（心理特质、随机误差、系统误差）对分数取值影响的大小。方差越大表示该因素对被试的评价结果所起的作用越大。将目标真分数方差、非目标真分数方差与随机误差分数方差三者相比，我们显然希望目标真分数方差越大越好，而非目标真分数方差与随机误差分数方差都越小越好。根据以上公式可知，三者大小取决于各自在观察分数方差中所占的比例。

经典测量理论的核心概念包括真分数、信度和效度。这些概念的操作性定义主要是基于相关分析技术的。比如，真分数就是使用同一方法对被试同一心理特质进行多次重复测量后获得的一致分数，该一致性程度通过信度系数来表示，而信度系数就是多次测量结果之间的相关性程度。经典测量理论从建立起到现在一直是指导各类测量活动或研究的重要理论，该理论的主要优势是基于经验的分析方法和简单易懂的分析技术。

经典测量理论由于简单易懂和效果良好而成为应用最为广泛的一种心理与教育测量学理论。然而，在测量学研究走向精细化时，经典测量理论一些不足的方面就表现出来了：首先，被试水平是通过观察分数总分来评价的，这个分数只能表示被试在本次测试中的相对地位（通过导出分数）和对内容掌握的程度，无法进行更精细的定位和描述；其次，数据分析结果依赖于样本，也就是说，被试水平描述和项目参数特性会随着测试样本的变化而变化，获取的参数无法迁移应用到其他测试情境中；再次，被试参数和项目参数不在同一度量单位系统，被试水平和项目作答结果之间没有内在的关联通道；最后，测量标准误被定义在测验整体质量的评价上，无法评价单个项目对单个被试的测量质量。

二、项目反应理论的优势和不足

影响被试在项目上的作答结果的主要因素有两个：一是被试自身的能力水平；二是项目的计量学属性，如项目难度、区分度、猜测性等。按照一般经验来说，在同一个项目上，能力水平越高的被试，答对这个项目的可能性就越大；而对于同一个被试来说，越容易的项目就越可能被答对。

作为现代测量理论代表之一的项目反应理论（item response theory，IRT），它的特点是以概率函数的形式来描述项目作答反应结果是如何受到被试能力水平和项目特性联合作用的影响的。具体来说，就是依据被试在各个项目上的实际作答反应结果，经数学模型的运算，统一估计出被试的能力（abilities）水平或潜在心理特质（latent traits）水平，以及项目的计量学参数。描述被试能力水平、项目参数与项目作答结果之间关系的数学模型称为项目特征函数（item characteristic function，ICF），以图形表示则称为项目特征曲线（item characteristic curve，ICC）。图1-1为典型的项目特征曲线：横轴表示被试的能力水平，纵轴表示概率。例如，曲线上有A、B、C、D、E 5个点，它们分别代表了5位不同能力水平的被试在该项目上的答对概率。由图可知，在一定范围内，能力值（θ ）越大，答对该项目的概率（p ）就越大。

图1-1 典型的项目特征曲线图

项目反应理论将项目视为测量被试能力水平的基本单位，项目的属性通过项目参数来描述。项目一般包含以下3个典型的计量学参数：①a 参数，即区分度参数，它的值越大表示项目对不同被试能力水平的鉴别力越强；反之，则鉴别力越弱。在项目特征曲线图中，a 参数反映了项目特征曲线的斜率，其理论值介于-∞和+∞之间，但在实际应用中的取值一般介于0和3之间。②b 参数，即难度参数，它的值越大表示项目越难，在项目特征曲线图中，它反映了项目特征曲线位于能力量尺上的位置，因假定被试的能力值介于-∞和+∞之间，所以b参数的理论值范围亦然。不过，在实际应用中，被试能力值取值一般介于-3和+3之间。③c 参数，就是猜测参数，代表了被试仅凭猜测答对项目的可能性，它的值越大表示不论被试能力水平高低，均更容易答对这个项目；值越小，则表示光凭猜测不易答对这个项目。c 参数反映项目特征曲线的左下渐近线（lower asymptote）的高度，其理论值介于0与1之间。但是，在实际应用中，c 参数过高的项目经常不被接受。

项目反应理论以项目特征函数来描述项目作答反应结果与被试能力水平及项目参数之间的关系，因所包含的参数个数不同，函数可被区分为不同的模型。常用的数学模型有单参数模型、双参数模型及三参数模型3种。各模型的项目特征函数如式（1-6）至式（1-8）所示。

单参数模型：

双参数模型：

三参数模型：

式子中：D为常数1.7；e 为自然对数的底；j 为被试编号；θ j 为第j 位被试的能力值；i 为项目编号；a i ，b i ，c i 分别表示第i 题的区分度参数、难度参数、猜测参数；P ij （θ j ）表示能力值为θ j 的被试答对第i 题的概率。当然，也可以将函数式用图形表示，称为项目特征曲线。

项目反应理论弥补了经典测量理论主要的不足，在指导测量实践方面体现了更大的优势，同时也一直是测量学领域研究的主要方向之一。项目反应理论在对被试群体进行总结性评价（summative assessment）时具有明显的优势，在各类竞争性选拔测试中如入学、入职、晋升、荣誉授予等方面得到广泛应用。然而，项目反应理论研究者一直没有足够重视对被试潜在特质的精细化分析。虽然多维项目反应理论将测试的潜在特质引向了精细化的方向，但研究者一直没有充分地关注对测试的特质内容本身的意义的分析。

第三节 认知诊断评价理论的兴起

每一种新的测量学理论的兴起总是伴随着原有理论研究的深入和社会发展的进步。认知诊断评价理论在项目反应理论深入研究的基础上，顺应了社会对评价信息更加精细的需求。

一、认知诊断评价理论的主要优势

随着社会大众和教育工作者对测量分析信息要求的转变，一个更加关注测量的特质内容本身意义的理论——认知诊断评价理论（cognitive diagnostic assessment theory，CDAT）逐步受到研究者关注。认知诊断评价理论由于强调了一个核心的概念——属性模式的作用，而被研究者认为是一个相对独立的测量学理论架构。认知诊断评价理论在形成性评价（formative assessment）中具有独特的优势。

认知诊断评价理论代表了心理测量学理论一个新的蓬勃发展的领域，它具有发展成为拥有诸多优势的理论的潜力。

认知诊断评价理论的一个主要优势，是能够在给被试特质赋值时提供更加深入细致的诊断性信息。认知诊断评价理论在给被试特质赋值时，不是给其赋一个笼统的观察总分（如CTT）或潜在特质水平分数（如IRT），而是根据被试的不同作答模式，提供出现这种作答模式的内隐的、潜在的认知结构分析。根据对被试认知结构的分析，我们可以知道被试在被测量的领域里认知发展的优势和劣势，知道被试哪些方面的认知水平发展得比较好，哪些方面发展得不足。因此，我们称这种赋值模式为认知诊断，支撑这种赋值模式的各种理论假设、数学模型、分析技术和分析方法构成了认知诊断评价理论的基本内容。

二、认知诊断评价理论的主要发展历程

认知诊断评价理论还非常“年轻”，然而其理论架构却已经非常“健壮”。认知诊断评价的思想在20世纪八九十年代被提出并逐步发展。1989年，罗伯特·林（Robert Linn）编辑的《教育测量》（Educational Measurement ）中的两个章节的作者塞缪尔·梅西克（Samuel Messick）和理查德·斯诺（Richard Snow）、戴维·洛曼（David Lohman）提出了认知心理学与教育测量学结合的意义。另外，有一些代表性的文章和著作专门研究和讨论了认知诊断评价的问题，如弗雷德里克森、格拉泽、莱斯格德、沙夫特（Frederiksen，Glaser，Lesgold，Shafto）在1990年出版的书《技能与知识获得过程诊断》（Diagnostic Monitoring of Skill and Knowledge Acquisition ）；尼科尔斯（Nichols）在1994年发表的文章《认知诊断评价的一般过程》（A Framework for Developing Cognitively Diagnostic Assessments ）；尼科尔斯、奇普曼、布伦南（Nichols，Chipman，Brennan）在1995年出版的书《认知诊断评价》（Cognitively Diagnostic Assessment ）。进入21世纪后，以美国2001年发布的《不让一个孩子掉队法案》为标志，教育与心理测量学研究者开始大规模地关注和研究认知诊断评价问题，使认知诊断评价理论在各个方向上都取得了快速的发展。在这一时期，各种认知诊断评价模型、模型参数估计方法、认知诊断计算机化自适应测验、测验属性定义等领域的研究成果大量出现。这一时期的代表性成果如龙冈（Tatsuoka）在2009年出版的书《认知评价：规则空间方法》（Cognitive Assessment ：An Introduction to the Rule Space Method ）；莱顿、吉尔（Leighton，Gierl）在2007年出版的书《基于认知诊断的教育评价》（Cognitive Diagnostic for Education Assessment ）；以及各种代表性认知诊断模型如DINA模型（Junker & Sijtsma，2001）、RRUM模型（Hartz，2002）、GDINA模型（de la Torre，2011）、GDM模型（von Davier，2008）等。认知诊断计算机化自适应测验研究也受到了极大关注（Cheng，2009；Cheng，2010；Hsu，Wang，& Chen，2013；Kang，Zhang，& Chang，2017；Kaplan，de la Torre，Barrada，2015；Liu，Ying，Zhang，2015）。当然，在这一时期，国内学者在认知诊断评价理论的各个领域也做了大量卓有成效的基础研究和实践应用工作，取得了大量原创性成果，在部分领域的研究甚至走在了世界前沿，在国内外发表了一系列研究成果，并出版了一批学术著作，培养了一批青年学者。

三、认知诊断评价理论的主要研究内容

认知诊断评价理论的主要研究内容有以下几个方面。

（一）领域认知模型的构建

领域认知模型定义了该领域的知识、技能、加工策略等，以及这些知识技能之间的结构关系。领域认知模型是测量和评价的内容目标，也是进行认知诊断评价的基础工作，定义了认知诊断测验结构效度评估的目标架构。

（二）如何命制一份具有良好质量的认知诊断测验

测验的信度和效度是衡量测验质量的主要标准。认知诊断测验要能够稳定、精确、精细地区分不同被试在目标领域中的掌握状态。测验结构应该与领域认知模型一致，同时能够在尽量精简的情形下，稳定地区分被试的发展水平。

（三）测验属性矩阵的定义

在定义了领域认知模型后，要保证测验编制过程中和编制结束后，测验及其题目能够很好地反映领域认知模型，测验题目与测量目标属性之间的关系定义是合适的。

（四）选择一个拟合良好的认知诊断模型或方法

该模型或方法能够基于测试数据和测验属性矩阵，估计每个被评价被试对领域认知目标的掌握状态。

（五）提供一份具有很好辅导作用的诊断性评价结果

根据被试的实际表现和领域认知模型，提供被试在该领域上的发展水平剖析信息，特别是存在不足的方面，并提出合理的改进意见。

（六）其他研究主题

认知诊断计算机化自适应测验、等值。

本书主要围绕上述内容展开叙述，但叙述的顺序会有调整。

本章小结

本章简要介绍了几个典型的心理与教育测量学理论的发展过程，简要分析了经典测量理论和项目反应理论的主要优势及存在的不足，并由此分析了认知诊断评价理论兴起的原因，最后还简要介绍了认知诊断评价理论的主要研究内容。

思考题

1.经典测量理论和项目反应理论的优势和不足分别是什么？

2.相对于已有的测量学理论，认知诊断评价理论的优势是什么？

第二章 认知心理学中的一些相关概念

摘要：认知心理学是认知诊断评价理论研究的支撑学科，研究人类认知过程的内在机制，帮助我们了解信息的获取过程、信息的存储和加工过程以及信息的提取和应用过程，是建构各领域认知模型的最佳指导理论。本章简要介绍了认知心理学中关于信息加工过程的一些基础知识和概念，以便研究者建立起认知诊断评价与认知心理学之间的知识桥梁。

认知诊断评价理论以分析诊断被试的认知成分和结构发展状态为目标，因此，认知心理学自然就是认知诊断评价理论的实质心理学基础。在理解认知诊断评价理论中的各种概念、模型、技术和方法前，我们需要了解认知心理学中一些相关的基本概念。

第一节 认知心理学简述

认知心理学是一个非常重要的心理学理论流派，也是当前心理学发展的主流理论。

一、认知心理学理论流派的兴起

冯特（1832—1920）是近代心理学的创始人之一，在心理学发展史上，他的名字与心理学的独立和实验（内容）心理学的建立直接联系在一起。

自冯特1879年建立第一个标准心理学实验室以来，整个心理学界出现了过去从未有过的热烈的学术研讨的繁荣局面。在冯特的内容心理学之后，又相继出现了各种各样、大大小小的心理学流派上百个。这些心理学流派分布广泛，遍布世界各地。其中，具有比较重要影响的心理学流派包括内容心理学派、意动心理学派、构造主义心理学派、机能主义心理学派、行为主义心理学派、格式塔心理学派、精神分析心理学派、日内瓦学派、人本主义心理学派、认知心理学派。

认知心理学起始于20世纪50年代中期，60年代以后飞速发展。1967年美国心理学家奈瑟（U.Neisser）《认知心理学》一书的出版，标志着认知心理学成为一个独立的心理学流派。

认知心理学是心理学发展的结果，其主要特点是强调知识的作用，认为知识是决定人类行为的主要因素。它与西方传统哲学也有一定的联系，如英国的经验主义哲学等。笛卡儿强调演绎法的作用，认知心理学同样重视演绎法。康德的图式概念已成为认知心理学的一个重要概念。

认知心理学也继承了早期实验心理学的传统。19世纪赫尔姆霍茨等人提出的反应时研究法，是今天认知心理学家广泛采用的研究方法。冯特是现代实验心理学的奠基人，认知心理学关于心理学的研究对象和研究方法的看法与他的观点很接近。他认为心理学的研究对象是经验，是意识内容，研究方法是控制条件下的内省。有些心理学家说，认知心理学又返回到冯特的意识心理学上去了，所不同的是方法更加可靠了。

格式塔心理学对认知心理学的影响也很明显。它以知觉和高级心理过程的研究著称，强调格式塔的组织、结构等原则，反对行为主义心理学把人看成是被动的刺激反应器。这些观点对认知心理学有着重大影响，如认知心理学把知觉定义为对感觉信息的组织和解释，强调信息加工的主动性等。在方法上，格式塔心理学主张研究直接的生活经验，主张把直接的生活经验材料与实验资料结合起来，如重视观察者对自己知觉内容的直接描述，并把这个方法称为现象学方法。这种观点，既不同于冯特和铁钦纳只承认经过严格训练的被试的内省，也不同于行为主义只重视实验室实验的做法，却与认知心理学的基本观点相一致。

认知心理学有广义、狭义之分，广义的认知心理学是指凡是研究人的认识过程的，都属于认知心理学。而目前西方心理学界通常所指的认知心理学，是指狭义的认知心理学，也就是所谓的信息加工心理学，它是指用信息加工的观点和术语，通过与计算机相类比、模拟、验证等方法来研究人的认知过程，认为人的认知过程就是信息的接受、编码、存储、交换、操作、检索、提取和使用的过程，并将这一过程归纳为四种系统模式：感知系统、记忆系统、控制系统和反应系统。它还强调人已有的知识和知识结构对他的行为和当前的认知活动起决定作用。其最重大的成果是在记忆和思维领域的突破性研究。

现代认知心理学的基本观点就是把人看作信息传递器和信息加工系统。其主要理论观点有：

第一，把人脑看作类似于计算机的信息加工系统。它认为人脑信息加工系统由感受器（receptor）、反应器（effector）、记忆（memory）和处理器（或控制系统）（processor）四部分组成。首先，环境向感觉系统即感受器输入信息，感受器对信息进行信号转换；其次，转换后的信息在进入长时记忆之前，要经过控制系统进行符号重构、辨别和比较；再次，记忆系统存储着可供提取的符号结构；最后，反应器对外界做出反应。

第二，强调人脑中已有的知识和知识结构对人的行为和当前的认识活动有决定作用。完整的认知过程是定向—抽取特征—与记忆中的知识相比较等一系列循环的过程。知识是通过图式来起作用的。所谓图式（schema）是一种心理结构，指的是我们对于外部世界的已经内化了的知识单元。内部图式接收到适合于它的外部信息时就被激活。被激活的图式使人产生内部知觉的期望，用来指导感觉器官有目的地搜索特殊形式的信息。

第三，强调认知过程的整体性。现代认知心理学认为，人的认知活动是认知要素相互联系、相互作用的统一整体，任何一种认知活动都是在与其相联系的其他认知活动配合下完成的。在人的认知过程中，情境关系很重要。它不仅包括人们接触到的语言材料的上下文关系、各类事物之间的关系，还包括人脑中原有知识之间、原有知识和当前认知对象之间的关系。

第四，强调产生式系统。产生式系统（production system）的概念源于数学和计算机科学，1970年开始被广泛应用于心理学。它说明了人们解决问题时的程序。在一个产生式系统中，一个事件系列产生一个活动系列，即条件—活动（C-A）。其中的条件是概括性的，同一个条件可以产生同一类的活动；其次，条件也会涉及某些内部目的和内部知识。可以说，产生式的条件不仅包括外部刺激还包括记忆中存储的信息，反映现代认知心理学的概括性和内在性。

二、人类信息加工的观点

心理学研究各种心理现象的发生和发展规律。认知是人的最基本的心理过程，是指人们获得知识或应用知识的过程，它包括感觉、知觉、记忆、思维、想象和语言等。具体来说，人们获得知识或应用知识的过程开始于感觉与知觉。感觉是对事物个别属性和特性的认识，如感觉到颜色、明暗、声调、香臭、粗细、软硬等。而知觉是对事物的整体及其联系与关系的认识，如看到一面红旗、听到一阵嘈杂的人声、摸到一件轻柔的毛衣等。人们通过感知觉所获得的知识经验，在刺激物停止作用之后，并没有马上消失，而是仍保留在人们的头脑中，并在需要时能再现出来。这种积累和保存个体经验的心理过程，就叫记忆。

人不仅能直接感知个别具体的事物，认识事物的表面联系和关系，还能运用头脑中已有的知识和经验去间接、概括地认识事物，揭露事物的本质及其内在的联系和规律，形成事物的概念，进行推理和判断，解决面临的各种各样的问题，这就是思维。人们还能利用语言把自己思维活动的结果、认识活动的成果与别人进行交流，接受别人的经验，这就是语言活动。人们还具有想象的活动，这是凭借在头脑中保存的具体形象来进行的。

认知心理学是现代心理学研究中的一个主要学术流派。以信息加工的观点研究人类认知现象是现代认知心理学的主流，它将人看作一个信息加工的系统，认为认知的过程就是信息加工的过程，包括信息的输入编码、存储、加工和提取输出的全过程。按照这一观点，认知过程可以分解为一系列的加工阶段，而反应则是这一系列加工阶段的产物。信息加工系统的各个组成部分之间都以某种方式相互联系着。认知心理学家关心的是作为人类行为基础的内部心理加工机制，其核心是信息输入和信息输出之间发生的内部心理过程。研究人类认知过程规律的主要方法是认知行为实验法和认知神经科学实验法。认知行为实验法通过输入刺激和输出反应来推论认知活动的内部心理加工成分和过程；认知神经科学实验法则通过直接观察、记录大脑活动状态和过程，来解释输入刺激和输出反应之间的关系。

三、信息输入、存储和提取

信息输入是人类通过各种感官从外界获取刺激信息的过程，如通过视觉通道（眼睛）获取各种视觉刺激信息、通过听觉通道（耳朵）获取各种听觉刺激信息，等等。这些刺激信息会被登记、编码、存储或与其他信息一起得到进一步加工。在信息的感觉输入阶段，这些刺激信息会被即时登记、编码，因此这一过程也叫即时记忆。大量的即时记忆信息会立刻消退，而有些信息则会被传入更高级的信息加工阶段。

信息存储是将获得的输入信息或加工信息进行编码、存储，以便进一步加工。一般来说，信息存储的过程并不是简单地堆砌，而是需要对大量信息进行深入加工、分门别类，以便在需要时能够被合理提取。信息存储系统即记忆系统，记忆系统经常被分为短时工作记忆系统（short-term working memory system）和长时记忆系统（long-term memory system）。短时工作记忆系统中存储的信息容量有限，可以被快速提取，是意识状态下正在加工的信息。而长时记忆系统中存储的信息一般被认为是不限容量的，需要慢慢搜索提取，未被提取的信息并不处于当前的加工状态。当被试处于意识状态下时，短时工作记忆系统一般处于激活状态。而当被试面临一个具体的问题情境时，被试需要在工作记忆系统中分析各类相关信息，经常需要到长时记忆系统中搜索提取相关信息。信息一旦被提取，它就处于激活状态，并且进入有意识的加工，以解决当前面临的问题情境。

长时记忆中的信息组织形式可以分为言语编码和表象编码两种形式。言语编码通过词来加工信息，按意义、语法关系、系统分类等方法把言语材料组成组块，以帮助记忆。表象编码利用视觉、听觉、味觉和触觉形象组织材料来帮助记忆。一般人在长时记忆中对信息的编码往往是将两种方式结合起来，互相补充，但也存在个体差异：有人偏于用这一种方式编码，有人偏于用另一种方式编码。依照所存储的信息类型，长时记忆还可分为情景记忆和语义记忆。情景记忆接受和存储关于个人的特定时间的情景或事件及这些事件的时空联系的信息。语义记忆存储有关字词或其他语言符号、其意义和指代物及它们之间的联系，以及有关规则、公式和操纵这些符号、概念和关系的算法等有关内容。

长时记忆系统中的信息是按组块的形式组织的。组块将相似的或相关联的信息组织在一起，这样的组织形式有利于提高信息存储和提取的效率。信息的相似性和关联性存在程度的不同，越相似或关联性越强的信息结合越紧密，然后根据相似性和关联性程度往外延展。每个信息就像网络中的一个节点，相似性或关联性程度强的信息的节点距离近，相似性或关联性程度弱的信息的节点距离远。所有的信息在长时记忆系统中组成一个复杂的、相互关联的、相互影响的、有层次的概念网络。每个组块可以代表一个概念，组块的范围有大有小，如鸟的概念就包括了羽毛和飞的概念，但羽毛又可以和别的信息组合在一起形成一个新的概念。

信息提取的过程是从已存储的信息中提取信息，在短时工作记忆系统中进行一定的加工组合后做出恰当的反应的过程。在面对一个具体的问题情境时，被试需要提取已存储的各类相关信息，在进行综合分析后，提出一种最合理的方案。有些问题情境可能是非常熟悉的，所以被试很容易提取相应的信息加以解决，然而有些问题情境可能比较复杂，需要提取的信息比较多，甚至有些信息是模糊的或缺失的，这时候，被试就很难有十足的把握解决问题，只能在已有信息的基础上，提出一个对自己来说最佳的方案。当然，这个方案很有可能会导致问题解决失败。因此，在面对问题情境时，影响问题解决的关键因素可能有3类：一是被试根本没有存储与问题有关的合理信息，或信息存在部分缺失，或信息处于模糊不清的状态；二是被试在提取相关信息时出现偏差，没有提取关键的有用信息，或者提取了错误的信息；三是被试虽然提取了所有相关的信息，然而在信息整合阶段进行了错误的加工，提出了有偏差的方案。

第二节 认知诊断评价与认知心理学

一、认知诊断评价中的问题任务

认知诊断评价通过分析被试在解决实际问题任务中的表现来判断其对领域知识属性的掌握状态和模式。因此，实际问题任务与领域知识属性之间是相对应的关系。领域知识属性代表了某个领域的概念范畴和知识结构。问题任务是被试在实践中可能碰到的实际问题或任务，它可能以不同的具体形式出现，所以被试需要在掌握相应领域知识属性的基础上才能顺利解决它。

解决问题任务的过程涉及被试对问题本身的理解以及基于已有知识经验提出解决问题任务的方案。在认知诊断评价实践中，一般假设被试对问题任务本身是理解的，关键是解决问题任务的方案和过程。问题任务解决的过程涉及相关信息的提取、对信息的组合分析，以及做出恰当的反应决策。整个问题任务的加工和解决的过程反映了被试对问题涉及的知识技能的掌握状态以及对这些知识技能的组合策略。只有掌握了相关的知识技能并进行了合理的组合，才能最终解决问题。

二、认知心理学对定义问题任务的指导作用

基于领域知识属性对问题任务进行定义是认知诊断评价的关键步骤。首先，认知诊断评价是对被试进行精细化的评价，因此，也必须对领域知识属性进行精细化的定义；其次，必须对领域知识属性和问题任务之间的对应关系进行精细化的定义，这样才能保证评价结果不会产生偏差；最后，认知诊断评价的目的是能够给不同被试提出具有针对性的改进意见，因此，我们还必须精细化定义领域知识属性的结构特征，分析各知识属性之间的关系。

认知心理学理论提供了关于知识的存储模式和提取模式的理论支持。同时，在认知心理学的指导下，可以通过一系列的实验研究方法，分析被试在某领域具体问题任务解决过程中涉及的内部心理加工成分（知识）及其加工进程（技能与策略），从而对领域知识属性及其结构模型进行精细化的定义。因此，认知心理学理论及其研究方法对于认知诊断评价具有重要的基础性指导作用。

许多认知诊断评价理论的研究者对知识、技能和策略概念的理解还比较模糊。按照认知心理学理论，知识指的是问题所涉及的认知成分，包括概念、规则、命题、情境描述等，在大脑中以相对独立的形式被表征。技能和策略是提取相关的知识并将其组合在一起解决问题的方法。知识的缺乏或技能与策略的不合理都可能导致问题解决的失败。梅耶对知识的分类可以给我们很好的启示，他将知识分成三大类：语义知识、程序性知识、策略性知识。语义知识指个人世界的知识。程序性知识指用于解决具体情境问题的算法或一套步骤。策略性知识指如何学习、记忆或解决问题的一般方法，包括应用策略进行自我监控等。于是，关于知识我们可以有以下认识：

第一，个体通过与环境相互作用后获得的信息及其组织，被存储于个体内的知识，即个体的知识；通过书籍或其他媒介存储于个体外的知识，即人类共享的知识。知识是后天经验的产物，不包括先天的适应机制；知识的获得过程是主客体相互作用的过程；知识的范围广泛，从获得具体信息到机体的认知结构的根本变化，都属于知识范畴。

第二，可以区分广义与狭义两种知识观。狭义的知识观中的知识仅包括它的存储和提取，如布卢姆教育目标分类中的“知识”、安德森的“陈述性知识”和梅耶的“语义知识”，都属于狭义的知识。广义的知识观中的知识不仅包括它的存储与提取，还包括它的运用，如布卢姆教育目标分类中的领会、运用、分析、综合、评价，都是指知识的应用。广义的知识观已经将知识、技能与策略融为一体了。所以，知识可概括为三大类：陈述性知识、程序性知识、策略性知识。把技能纳入广义的知识范畴，只是就知识掌握深度和熟练程度而言的。把策略性知识纳入广义的知识范畴，则使知识概念的内涵和外延都发生了深刻的变化。随着认知策略领域研究的深入，有关人们对自身认识过程的知识将作为一种普遍可以迁移的技能来学习。

本章小结

认知诊断评价通过分析被试在问题任务解决中的表现来推论其对领域知识属性的掌握状态。认知心理学的信息加工观点和研究方法可以指导对领域知识属性及其结构进行定义，因此在认知诊断评价理论中具有基础性的指导作用。

思考题

1.认知心理学中关于信息的存储、加工和提取的基本观点是什么？

2.以某个学科领域为例，基于认知心理学信息加工理论的观点，分析思考学科领域中某个问题解决的过程。

第三章 认知诊断评价理论的基础概念

摘要：认知诊断评价理论建立了一套比较完整的概念、研究范式和技术路线。测验属性及相关概念的定义是进行认知诊断评价的核心和基础。本章主要介绍了认知诊断评价中属性及基于属性衍生的相关概念。

认知诊断评价理论涉及许多基本概念，且各种概念之间相互关联。本章将解释各种概念的一般内涵及其相互联系。

第一节 关于诊断

诊断（diagnosis）是一个具有普遍意义的用词，是通过各种技术、方法和手段来全面深入了解对象，并在评价判断的基础上给出详尽的分析报告的过程。因此，诊断需要在对对象全面评价的基础上进行，诊断的目的是找到对象的优势和不足，从而为后续发挥优势和改善不足提出合理建议。运用诊断技术的领域非常广泛，如物理领域诊断（汽车故障诊断、电力设备故障诊断、铁道信号诊断、建筑稳定性诊断等），化学成分诊断，生物和生理领域诊断，医学诊断和环境诊断等。

医学诊断是最容易被认识到的诊断领域。在医学上，医生通过问询、体检、实验检查等手段来了解对象的身体特征，然后根据一定的标准对这些特征做出正常或异常的评价。医生运用既有的知识和经验，进行综合、分析、联想、推理，才能对对象进行合理诊断。在全面诊断分析的基础上，医生提出治疗或康复的有效措施，以让对象成长为一个健康的个体。

与其他领域的诊断一样，心理诊断越来越成为大众关注的领域。心理学家通过问询、观察、检查、实验等手段对个体的心理状态特征进行全面的了解，然后根据一定的标准如常模等，对个体各方面或某一个方面的特征做出正常或异常的评价。心理学家根据自己已有的知识理论和经验，对该评价结果的原因、机制和可能的发展后果做出全面细致的诊断，并提出保持已有优势、辅助改善不足的具体方案措施，以让诊断对象成长为能力、气质、性格、价值观等各方面表现优秀的个体。心理诊断包括各种心理现象的诊断，如注意力、言语表达能力、思维方式、性格特征、人际交往、社会适应、学业水平等。

教育领域也有各种类型的诊断，包括工作诊断、教学诊断、学习诊断等。这里主要讨论的是学习诊断与评价。根据评价目的，教育领域的评价一般可以分为筛查性评价、诊断性评价和终结性评价。筛查性评价一般以确定是否存在明显偏离正常水平的群体或个体为评价目的；诊断性评价一般通过收集完整的对象信息，以服务于确定培养目标和方案、需要个体辅导的对象为目的；终结性评价则以阶段性目标是否达成为评价目的。教育诊断评价的内容一般包括生理发展状况、心理发展状态、教育过程资料和社会适应性方面。教育诊断评价的方法包括观察法、访谈法、评定量表法和测验法等。

从以上可以注意到，教育诊断评价相对于心理诊断评价的内容更加广泛，而心理评估也是其中的重要内容。

认知，是指人们获得知识或应用知识的过程，这是人类的最基本的心理过程，它包括感觉、知觉、记忆、思维、想象和语言等心理现象。认知诊断评价主要是通过测验的形式，来了解个体或群体在测验上的表现，进而对其认知水平发展（知识掌握）状态进行评价，并在此基础上提出改善个体认知状态的辅助方案和针对性建议。认知诊断评价对个体或群体知识的掌握状态进行评价、诊断和提出针对性改进措施，相对于项目反应理论和经典测量理论，认知诊断评价理论的优势正在于此。

第二节 属性及其结构

一、属性

属性（attribute）是认知诊断评价理论中最基础的概念。万物均有各种属性，属性是事物的性质与事物之间关系的统称。人本身就包括生理属性和心理属性。生理属性包括性别、身高、体重、视力、血压等，而心理属性包括感觉、知觉、思维、情绪、性格、能力等，这些都是人的属性。在这些属性中，能力有高低之分，情绪有稳定与不稳定之分，等等。这些属性及其表现描述了不同人之间的差异和关系。属性和关系可以完整地描绘一个特定的人，如一个情绪稳定、性格外向、能力超强的人。

在认知诊断评价理论中，属性专门指人的心理属性，而当前绝大部分研究涉及的心理属性仅指知识、技能等标志能力类的属性，当然这并不意味着这个概念不包括性格、情绪等心理属性。在本书中，除非特别说明，属性专门指知识、技能等能力类的心理特质，在其他特质领域的应用可以合理地进行类比。

关于能力特质，从不同角度或层面看就会有不同的认识，由此，心理学就提出了许多的能力结构理论。在此，我们根据各种能力结构理论将能力特质分为3个水平，分别是一般能力、能力倾向和学业成就。一般能力类似于智力，是人们完成每一种活动都必须具备的能力，是人人都有的，但每个人的一般能力水平是不同的，所谓一个人“聪明”“普通”或“愚笨”，正是由一般能力水平的高低决定的。一般能力水平的高低会影响人们在各种任务中的最好表现，包括学业问题和社会问题的处理。一般认为，一般能力主要受遗传的影响，很难在后天得到明显改善，当然也很难退化。能力倾向是指一个人能学会什么，以及一个人获得某类新知识和技能的潜力如何，而不是当时就已经具备的现实条件。比如，有的人具有艺术天赋，意味着他在艺术领域具有很好的发展潜力；有的人数字能力很强，可能意味着他能够在数学领域有好的发展潜力，等等。因此，能力倾向意味着个体在某类任务领域具有优势。能力倾向部分受先天因素影响，也能够通过后天训练得到加强。学业成就指的是一个人在某个具体的学科领域的实际表现，主要通过评价个体在学校学习的综合表现来体现。学业成就当然会受到一般能力水平的影响，但可以通过后天的努力得到明显改善，但学业成就也容易退化。当前，认知诊断评价理论主要研究的领域就是对学生的学业成就水平进行诊断。

具体来说，属性指的是会影响人的外显行为表现的那些潜在的、内隐的心理特质。比如，在解决一个数学问题时，被试的行为（作答）结果就会受到他已掌握的相关知识和技能水平的影响。被试掌握的知识技能和策略越完整，则完成该数学问题任务的概率越高。在被试完成其他类似的问题任务时情形也是如此。在学业成就类问题任务中，影响被试完成任务的因素包括知识、技能、经验及策略的应用等。

通过测验的形式来评价被试在某个学业领域的发展水平是当前常用的方法，这种形式的最大优势就是可以同时进行大规模的数据采集工作，既方便个体水平的评价，也非常有利于群体水平的评价。在测验编制之前，编制者总是会有一个正式或非正式的测验蓝图，用于指导测验的编制工作，以保证编制的测验是有效的。这个测验蓝图代表了评价的目标，该目标一般包括评价的内容领域，如测试的章节目或知识点等；包括评价的认知领域，如记忆、归纳推理、综合分析等；包括题目的难度要求。在现在许多大规模的评价项目中，评价的目标还包括情感、兴趣、价值观等非认知领域。当然，这些目标之间存在着关联，内容目标是其他各种目标的载体，如记忆、归纳、综合分析的水平需要通过相应内容的题目作答表现来评价。但内容目标与认知目标不必一一对应，有些内容适合测试记忆能力，有些内容适合测试综合分析能力，有些内容则适合测试各种能力。

诊断是要对我们需要评价的目标进行分析，可以对被试在某内容领域的掌握情况进行诊断，可以对被试认知能力发展水平进行诊断，也可以对其非认知领域的发展状况进行诊断，当然也可以同时诊断多个目标。在当前绝大部分认知诊断评价研究中，主要的评价目标是分析被试对各内容领域特别是知识点的掌握水平。以上这些目标在认知诊断评价理论中统称为属性。

属性是测量目标领域的内容维度，这些内容维度之间可能是相互独立的关系，也可能存在相互关联的关系，如某些属性是学习掌握另外一些属性的前提条件。在进行认知诊断评价之前，我们需要首先分析清楚各个属性之间的结构关系。清晰的属性结构关系有三个方面的优势：一是能够更深入地掌握测量目标领域的认知结构模型；二是能够更好地指导测验的编制工作；三是能够更好地指导提供诊断评价后的信息反馈。

典型的属性层级关系形式有直线型、收敛型、发散型、无结构型，如图3-1所示。

图3-1 属性层级关系图

二、邻接矩阵

邻接矩阵（adjacency matrix，通常记为A 矩阵）用矩阵的形式表示测验属性之间直接的层级关系，如图3-2所示。

图3-2 邻接矩阵示例

图3-2说明了属性1是属性2和属性4的前提；属性2是属性3的前提；属性4是属性5和属性6的前提。该矩阵表达的属性间的层级关系用图形的形式表示就如图3-1中的C图所示。

需要注意的是，邻接矩阵中未表示属性自身之间的关系。

三、可达矩阵

可达矩阵（reachability matrix，通常记为R 矩阵）用于表示属性之间直接和间接的层级关系，如图3-3所示的可达矩阵为图3-2所表示的层级关系。

图3-3 可达矩阵示例

如图3-3所示，同时结合图3-2，属性1可达所有属性，也就是说属性1是所有属性的前提；属性2可达属性3，也就是说属性2只是属性3的前提；属性3、属性5和属性6则除自身外，不是任何其他属性的前提；属性4则是属性5和属性6的前提。

因此，可达矩阵其实说明了各个属性之间直接和间接的前提条件关系，包括属性自身的内部关系。这些关系通过如图3-1所示的形式显得更加直观。

第三节 测验属性的定义

被试属性掌握水平会影响其在测验上的作答结果，同时，被试属性掌握水平也是通过其在测验上的作答表现反映出来的。测验评价了哪些属性或目标，会由测验蓝图进行定义。在测验蓝图的基础上，就可以编制合适的题目组成测验卷。对于认知诊断测验来说，测验题目的合适性，一方面看它们是否测量了测验蓝图所定义的所有目标，即要保证测验有合理的内容效度，另一方面要保证测验有合理的信度。

一、关联矩阵

在认知诊断评价理论中，测验蓝图通过一个由二值元素组成的关联矩阵（incidence matrix，一般称为Q 矩阵）来表示。假设测验评价了K 个属性，共M 个项目，则该矩阵为M ×K 阶Q 矩阵，该Q 矩阵用1表示相应的项目测量了对应的属性，用0表示相应的项目未测量对应的属性。以包含6个题目3个属性的测验为例，其Q 矩阵就可能如图3-4所示。

图3-4 测验属性Q矩阵

图3-4表示测验第一题测量了属性1，没有测量属性2和属性3；第四题测量了属性1和属性2，没有测量属性3；第六题测量了属性1和属性3，没有测量属性2。其他题目的解释亦然。需要特别注意的是，某个题目可以测量所有的属性，但绝对不会有题目没有测量任何属性。

二、缩减Q矩阵

测验的每个项目可能测量了不同的属性或属性组合。测验中，项目测量的属性或属性组合数目是有限的。假设一个测验共测量了K 个属性，那么，理论上可能的项目属性组合模式就一共有2 K -1种（除去未测量任何属性的题目），如某测验测量了6个属性，那么，可能的项目属性组合模式就有2 6 -1=63种。

然而，由于属性之间可能存在层级关系，某些属性必须以另外的属性为前提，有些属性组合就不可能存在。因此，构造一个测验项目的可能的属性组合模式就会减少。例如，6个属性之间如果存在如图3-2所示的层级关系，那么，测量了属性2或属性4的题目必定测量了属性1，而测量了属性3的题目也必定测量了属性2和属性1，测量了属性5或属性6的题目则必定测量了属性4和属性1。在这种层级结构模式下，这6个属性在构造测验项目时，可能的项目属性组合模式就只有15种，这大大少于63种，如图3-5所示。

图3-5 缩减 Q 矩阵示例

基于属性层级关系定义的测验项目属性关联矩阵称为缩减Q 矩阵（reduced Q matrix），记为Q r 。缩减Q 矩阵是基于属性层级关系从理论上得到的可能的项目属性组合模式，它可以用于指导测验编制，或用于检验已编制测验结构的合理性。

第四节 被试的理想属性掌握模式和理想反应模式

认知诊断评价的最终结果是得到关于被试的认知属性掌握状态的诊断性评价，并基于该评价结果提出针对性的改进意见。

与测验的关联矩阵（Q 矩阵）表达方式相似，被试对测验属性的掌握状况同样也用矩阵（群体）或向量（个体）的形式来表示。以图3-4为例，假设某个被试掌握了测验的属性1和属性2，未掌握属性3，则该被试的属性掌握模式就表示为1 1 0，其他情形依此类推。不过，与测验关联矩阵不同的是，被试的属性掌握模式可能出现未掌握任何属性的情形，即如0 0 0的属性掌握模式。

一、理想属性掌握模式

理想属性掌握模式（ideal attribute mastery pattern）就是理论上可能的属性掌握模式。假设一个测验测量了K 个属性，那么理论上可能的属性掌握模式就一共有2 K 种，如某测验测量了3个属性，那么可能的属性掌握模式就有8种，即有以下可能的属性掌握模式：0 0 0，0 0 1，0 1 0，0 1 1，1 0 0，1 0 1，1 1 0，1 1 1。当然，可能的属性掌握模式会受到属性的层级结构关系的影响。当属性之间的关系不独立时，有些属性掌握模式就不可能出现，如上例中，如果属性1是属性2的前提，那么，掌握了属性2就必然掌握了属性1，因此，掌握属性2而未掌握属性1的模式就不可能出现，如0 1 0和0 1 1两种模式就是不可能的掌握模式。

对于如图3-2所示的层级关系，其可能的属性掌握模式如图3-6所示。

图3-6 理想属性掌握模式示例

二、理想反应模式

理想反应模式（ideal response pattern）指的是，假设被试在测验项目作答反应过程中既不存在猜测也不存在失误，所有理想属性掌握模式的被试在所有项目上的作答反应模式。也就是说，如果被试掌握了项目测量的所有属性，那么，他就一定能够答对该题，而如果被试未完全掌握题目测量的所有属性，那么，他就一定会答错。我们仍以图3-2所示的属性层级关系为例，假设被试的属性掌握模式以如图3-6所示的理想属性掌握模式代替，题目就以图3-5所示为例，理想反应模式将会如图3-7所示。

图3-7 理想反应模式示例

在实际的测试情境中，如果被试间的观察反应模式（observed response pattern）相同，那么，他们就会对应相同的理想反应模式，他们同样就会有相同的属性掌握模式（attributes mastery pattern）。

本章小结

测验属性及其关联矩阵是进行认知诊断评价的基础，任何一种认知诊断评价方法或模型均必须在该基础之上进行分析。邻接矩阵与可达矩阵描述了测验属性之间的层级关系。基于测验属性之间的层级关系，从逻辑上推导出了缩减Q 矩阵和被试的理想属性掌握模式。基于缩减Q 矩阵和被试的理想属性掌握模式，以及无作答误差的假设，推导出了被试的理想反应模式。因此，测验属性及其层级关系成为认知诊断评价工作的逻辑起点。

思考题

1.什么是属性？

2.邻接矩阵和可达矩阵的作用分别是什么？Q 矩阵与这两类矩阵分别是什么关系？

3.属性掌握模式和理想反应模式之间是什么关系？

第四章 认知诊断评价理论的基本假设及其检验

摘要：心理测量学理论的核心是用一系列合理的模型来描述人的特质与刺激物特征是如何共同影响人的反应过程和结果的。这些模型经常需要建立在一些前提假设的基础上才能成立。一旦违反这些假设，模型的合理性就会受到质疑。认知诊断评价理论是建立在一系列模型的基础之上的，这些模型的成立总是要建立在某些假设基础之上的。当然，不同的模型可能会有不同的假设前提。本章主要介绍了认知诊断评价理论模型的一些基本假设及其检验方法。

一种新的理论通常是在某些特定情境条件基础上提出的，只有在这些情境条件得到满足的情况下，这个理论才能够合理地进行解释和应用。认知诊断评价理论有特定的应用目标和情境，各种数学模型、技术和方法的应用也有着严格的前提假设条件。本章将分析认知诊断评价理论涉及的一些基本假设条件，并研究和介绍检验这些假设条件的方法。

第一节 认知诊断评价理论的基本假设

一、作答过程真实性假设

被试的作答结果真实地反映了被试的能力水平或者表达了被试的真实意愿，这是保证数据分析结果不会偏离目标的基本前提。作答过程的真实性被污染主要表现在两个方面：一是随机作答，没有努力发挥主观能动性，作答不认真；二是欺骗作答，作答非常努力，使作答结果朝着有利于自己的方向，但并不是自己真实水平的体现。

导致被试作答过程不真实的原因多种多样。首先，被试对测量目标的认识是影响其作答的关键因素。测量结果可能对被试的工作、生活或行为产生重要影响，因此为保证测量结果尽可能地对自己有利，被试就可能采取一些方法来扭曲测量的结果，如舞弊、撒谎等。其次，被试也可能因为测量结果对自己不会产生任何影响，从而采取不负责任的作答行为，进行随机作答或不作答。还有一个导致被试不真实作答的重要原因，是外界或周围环境提供了不真实作答的便利条件。主观故意加上客观便利条件，使许多测量结果偏离了评价的目标。

测量就是要给被试的某项素质赋值的过程，如果被试在问题解决过程中没有真实地表现自己的内在素质水平，那么，赋值的结果就会产生偏离。基于这类测试数据的评价也就不准确。因此，作答反应过程的真实性是任何评价项目的假设前提。

二、局部独立性假设

局部独立性假设需要从两个方面进行理解：一方面指的是被试作答结果不会受到其他被试的影响，同时也不会影响其他被试的作答结果；另一方面指的是被试在不同题目上的作答结果不会产生相互影响。

被试评价结果是基于他自身的实际表现进行推断的。如果被试通过非正常途径获取作答过程和作答结果，使其作答反应受到了污染，那么，该作答反应就不能作为评价该被试素质水平的真实依据。

题目参数的估计同样也是基于题目本身的作答结果来推断其特性的。如果题目内容之间能够相互提示，或题目作答结果之间相互关联，那么这类作答结果就无法独立反映每个题目本身的特征，导致题目参数估计结果出现偏差。这里需要厘清几个关系，首先，测验测量的潜在的知识技能之间很可能存在层级关系，即存在相互关联的关系，有些知识技能必须在被试掌握了另外一些知识技能的基础上才能被掌握。被试在这些知识技能上的水平通过在具体的测验题目上的作答反应来体现，未掌握某些知识技能可能导致相应的题目作答错误。但题目作答的局部独立性指的是在形式上，题目作答结果之间不能存在相互依存的关系。

另外，在同一次测试中，如果不同被试之间的作答结果相互影响，或不同题目之间的作答结果相互关联，这也会影响模型参数的估计过程。几乎各类模型参数的估计都是在作答反应似然函数基础上展开的，而该似然函数的建立需要假设被试之间的作答反应是相互独立的，同时，题目之间的作答反应也是相互独立的。

三、补偿性假设

补偿指的是被试虽然在某些方面存在不足，然而由于另外一些方面的优势可以弥补其不足的方面，从而不会影响该被试对问题的最终解决。有些心理特质之间存在补偿效应，而有些心理特质之间却很难产生补偿效应。补偿效应可能产生于单个属性之间，也可能产生于属性组合之间。补偿效应可以通过对具体问题的解决过程和结果来反映。补偿效应有大有小：有的问题可以通过完全不同的途径来解决，表现出完全补偿效应；有的问题只能部分借助别的方式来协助解决，表现出部分补偿效应；而有的问题则只有一条有效的解决途径，表现出完全非补偿效应。

一般来说，补偿效应具体体现在问题解决的方案是否有多种，也就是说，对于相同的结果，取得该结果的途径是否有多种。因此，补偿效应的产生或认定有三个条件：一是必须取得了相同的结果；二是该结果必须是正确有效的；三是取得该正确有效结果的方案有多种，相互之间存在某些本质不同之处。

在认知诊断评价理论中，有的模型能够处理存在完全补偿效应的问题情境，有的模型只能处理不存在补偿效应的问题情境，也有的模型能够处理存在不同补偿效应的问题情境。

第二节 认知诊断评价理论假设检验

认知诊断评价理论提出了诸多的模型，每种模型都有与之相适应的问题情境。在选择一个合理的模型之前，首先需要分析问题情境，检验模型是否很好地描述了该问题情境。只有模型和问题情境之间相互适应，基于该模型进行的数据分析和结果评价才是有效的，否则其结果就会偏离评价的目标，产生误导。

一、作答过程真实性检验

在测量过程中，被试真实地表达自己的能力水平或意愿，是保证测量结果和评价过程准确性的基础。

检验被试作答过程是否真实的最直接的方法，就是通过客观取证的手段，即重要的测量项目在严格的监控条件下进行，通过监控直接观察被试的作答状态。在许多情形下，通过直接查看监控以发现被试作答真实性是难以实现的，特别是当测量的对象规模非常大时，这时就需要通过能够进行大规模筛查的方法进行甄别。当然，有些不真实作答即使通过监控也是很难辨别的，如不认真地随机作答。

另外，可以从测量的具体过程进行分析，检查测试过程是否能够保证激发被试足够的动机以尽量真实地表现自己的特质水平。首先，要看测试的目的是什么，如果测试是用于研究的，那么被试的行为动机可能就没有那么强烈，导致作答结果不能完全反映被试的真实能力水平。如果测试是用于选拔、达标等可能影响被试自身利益的，那么就可能激发被试强烈的行为动机，从而使被试尽量真实地表现自己的能力水平。当然，对于社会倾向性测验，其作答情形可能正好相反，即被试在作答这类测验时，特别是当测验结果可能会影响自身的前途时，被试往往会企图掩盖自己的不足，做出符合社会一般期许的反应。对于测验目的可能给测验数据造成不同结果的问题，我们需要谨慎地对待。我们很多时候收集数据都是用于研究的，相比用于选拔等的测验，其结果的测量误差一般会更大，信度也会更低，当然效度也就会受到影响。麦克丹尼尔（McDaniel）等人就通过元分析发现，面试成绩对工作绩效的预测效度由于目的不同（研究目的和管理目的）而存在显著差异。所以，用于不同目的的测验一般不宜直接进行比较，需要首先进行必要的校正。其次，要检查测验施测时使用的指导语能否激发被试的作答动机，有些测验即使是用于研究的，我们也可以通过恰当的指导语来激发被试足够的作答动机。一般来说，除了一般需要说明的指导语之外，通过以下方法可以尽量地获得被试的真实作答反应：①让与被试有密切关系的人作为主试宣读指导语并监控测试过程；②明确说明研究的意义，意义的表达必须能够引起被试的关注，许多研究的意义可以从长远意义和社会意义的角度进行阐述；③明确表达研究的艰巨性，以及被试的作答对研究成败的关键性作用；④明确说明被试作答之后将会获得奖赏；⑤明确说明作答结果完全保密，且绝对不用于个人评价，并亲笔签上研究者的姓名（不能打印和复印）以做出承诺。另外，检查测试时的客观环境是否能够激发学生的作答动机也是非常重要的。在组织测试时，应该首先获得与被试关系密切者的积极支持和配合，在这方面应该花较多的时间进行沟通和商谈，并得到正式的支持承诺。测试最好不要安排在被试的休闲时间，测试的过程和形式应该让被试感觉到非常正规，还要注意测试地点的布置和安排不要影响被试正常作答。最后，要检查是否保证了足够的测试时间，以便被试能够充分发挥正常水平来作答所有测验项目。关于测验测试的时间，首先需要有经验的测验编制者进行主观估计，同时，还必须进行预测试以获取测试真实的正常时间。

我们还可以通过事后数据分析，检查是否存在作答数据不够真实的证据。数据分析可以主要从两个角度进行。首先，从数据描述的角度，可以从以下几个方面进行检查：①测验是否存在大量未作答情形，有经验的测验设计和编制者一般会较好地考虑到测试时间的合理安排。在这种情况下，如果作答数据中仍然出现大量未作答情形，那么，我们有理由相信被试没有认真作答。②被试总体得分分布偏离预想。一般情况下，研究者总是想选择一批特质水平分布较宽的被试，因此会通过预先调查来选择合适的被试。然而，如果被试的实际作答结果严重偏离研究者的预想，这也可能成为我们怀疑被试作答过程真实性的证据。③被试个体在各个项目上的作答没有规律。研究者在设计测试项目时，总是会根据自己的经验设计不同难度或不同维度的项目。然而，如果被试在所有项目上的作答结果没有表现出符合预期的规律，那么，我们也可以怀疑他没有认真作答。④被试作答结果存在形式上的规律性，如选择题的答案全部一致，或答案循环安排，如“ABC-ABC-ABC”的作答形式，这也可以作为被试未认真作答的证据。从数据推断的角度，可以从以下两个方面进行检查：①回访。研究者可以在测试以外的时间回访部分参与测试的被试，探查他们当时真实的作答态度和原因。当然，这个回访一定要在完全放松的环境下进行，让回访对象完全放松，不存在任何顾虑。关于访谈的方法和技巧，可以参考相关文献的内容。②效度验证。研究者可以收集一些关于测验的效标数据，如被试的老师对他们平时表现的评定、期末考试成绩、性格评定，等等。通过与这些效标证据的比较，可以大致看出被试的作答过程是否表现真实。

现在有许多学者研究了使用统计方法检验被试作答结果的真实性。这种方法一般需要首先建立真实作答状态下的理论模式，然后通过鉴别各种实际作答模式与理论模式之间的距离，从而做出作答真实性程度的判断。

龙冈（Tatsuoka，1996）在其提出的认知诊断方法中构建了一个个人作答模式拟合指数——ζ ，用于鉴别被试的非正常作答模式。我们可以将其作为一个检验被试作答真实性的统计指标加以应用。由于后面的章节会详细介绍该指标，因此，这里只是简单介绍这个指标在检验作答真实性时的可能应用。

记能力水平为θ 的被试在各项目上的观察作答反应模式向量为X =（x 1 ，x 2 ，…，x n ），其对应的IRT 逻辑模型项目正确作答概率向量为P （θ ）=[P 1 （θ ），P 2 （θ ），…，P n （θ ）]，对应的IRT 逻辑测验反应函数向量为T （θ ）=[T （θ ），T （θ ），…，T （θ ）]，T （θ ）为被试在所有项目上的反应函数的平均数，即 ，定义：

将f （X ）重写为X 的线性函数形式：

对于能力值为θ i 的被试，函数f （x ）的期望为0，其方差为：

于是，作答模式拟合指数ζ 就定义为函数f （X ）的标准化形式：

根据上面的定义，我们可以注意到，当固定某个被试时，T （θ ）、K （θ ）和Var [f （X ）]均为常数，而P （θ ）也是固定的向量。也就是说，当我们在验证某个作答模式是否异常时，ζ 指数只受到实际观察作答模式X 与期望作答模式P （θ ）之间一致性程度的影响。当X 与P （θ ）越保持一致变化趋势时，f （X ）越小；当X 的大小顺序偏离P （θ ）的大小趋势时，f （X ）就会增大。需要再次提醒的是，f （X ）的期望为0，但实际上f （X ）可能会取正值，也可能会取负值。

作答模式拟合指数ζ 反映了被试实际作答模式偏离理论作答模式的程度，如果ζ 值比较大，研究者就应该怀疑该被试的实际作答模式是不正常的。那么，究竟ζ 值多大才应该被怀疑呢？这可能需要根据整个测试群体的ζ 值分布，同时结合往年根据经验发现的非正常作答比例来协助判断。但无论如何，统计量只能为找出异常作答模式提供辅助信息，研究者却不能只依赖该信息做出被试是否作答异常的最终判断。

二、局部独立性检验

局部独立性检验与IRT中的检验原则是一样的。局部独立性检验需要从被试和项目两个角度进行。

从被试作答的角度检验其局部独立性，这其实与第一个假设，即作答过程真实性假设存在一些内容的交叉，但局部独立性假设主要强调统计意义上的依赖性偏差，重点关注欺骗性作答，主要是确定被试个体的作答过程没有得到任何外部因素的协助，完全是其自身特质水平的真实表现。

被试作答的局部独立性检验一方面可以通过当时对测试过程的监察，以发现被试是否存在借助外部因素为自己的作答提供便利的情况，这是最客观可信的检验手段；另一方面可以通过数据分析的方法检查被试是否存在非正常作答情形。我们可以合乎逻辑地认为：在正常作答情形下，低水平被试只能答对低难度项目，对更高难度项目的正确作答概率比较低；只有高水平被试才能答对几乎所有低难度项目，同时对高难度项目的答对概率更高。从另外一个角度来说，如果被试能够答对高难度项目，那么他就应该有更高的概率能够答对更低难度的项目，同时，被试答对相同难度水平的项目的概率应该是相近的。如果实际作答情形不符合这种规律，那么，我们就有理由相信某（些）被试可能存在非正常作答行为。基于以上这种逻辑判断和规律，我们就可以通过统计分析的手段对非正常作答情形进行探查。在具体进行探查时，关键是首先要知道被试的真实水平。如果只有被试水平的排序信息，也是可以进行探查的，然后根据不同水平的被试，对比他们之间的实际作答模式，以找到怀疑他们作答过程异常的证据。关于被试的真实水平信息，如果研究者能够从外部获取关于被试真实水平的评价，当然是更加客观公正的，但大多数情形下，特别是全国性大规模测验，获取每个被试水平的外部独立评价是非常不现实的，因此，必须从测试数据内部进行分析。

第一种方法是以测验总分作为被试水平的标志，然而，由于测验总分包含了所有题目的得分，包括在非正常作答项目上的得分，因此，这种方法只有在非正常作答项目占分比例较低的情形下才有效。可是，在分析之前却又无法确切知道被试在哪些项目上存在非正常作答的可能，因此，这种方法虽然简单，但却显得比较粗略，只能进行初步的探查。

第二种方法是可以从被试的作答模式上进行分析，也就是根据被试对不同难度水平项目的作答情况进行评价。首先对测验的所有项目进行难度排序，被试如果能答对难度较高的项目，他就很可能答对难度水平更低的项目，当然，偶尔答对一个较高难度项目的情形应该排除在外。同时，相近难度水平项目的答对概率应该是比较一致的。如果被试的作答反应模式与项目难度的排序存在显著的差异，我们就应该怀疑其作答不正常。那么，如何检验作答反应模式与项目难度排序之间的差异呢？这方面的判断还没有统一的标准，研究者可以比较正确作答项目与错误作答项目之间的难度平均数，也可以根据排序不正常项目在测验中所占的比例进行判断。不过，前文作答过程真实性检验描述的ζ 统计量在此同样可以提供判断依据。

第三种方法是检查相同作答模式被试的分布比例。对于1、0记分题目，一个测验包含30多个项目是非常正常的。从理论上来说，30个项目组成的测验将有2 30 种作答模式，也就是有超过10亿种被试作答反应模式。当然，在正常情形下，有些作答模式是不可能出现的，如高难度项目答对，而容易项目答错的作答模式，还有些作答模式本来就有更多的出现可能。其实，如果把被试作答模式与被试能力水平对应的话（很多测量学研究者就是这样处理测验作答数据的），那么各种作答模式出现的概率就应该服从与能力水平一样的分布。在这种情况下，如果按测验总分排序的作答模式分布偏离正常分布太大，我们就可以有理由怀疑测验中可能存在非正常作答情形，因为非正常作答模式经常只出现在几个孤立的分布点上。因此，在探查非正常作答模式时，经常需要首先对分布进行平滑化处理，然后比较某个点上的正常分布与实际分布之间的差异。当然，这种探查方法对大规模测验中可能出现的集中舞弊现象可能会比较有效。

不过，用统计分析手段对非正常作答被试进行探查，在有些情形下很难有效。因为在实际测试中，被试一般是对在自己能力水平范围内的题目自己独立作答，而对较难的项目才借助外部力量。这样的话，其作答结果仍然会呈现出比较合理的模式。因此，统计分析过程需要仔细、谨慎，综合多方面信息进行判断。

从项目的角度检验其局部独立性，主要是要确定各个项目之间是否存在内容相依或结果关联。一方面，我们可以通过专家分析的方法，判断测验中的各个项目之间是否存在相互依存关系。另外，项目之间的局部独立性有时候还可能会受到测验题目形式的影响。比如，关于相同题干下的多个设问题型，被试对题干的不同理解可能就会影响该题干下所有问题的作答结果，语文和英语阅读理解就是这类题型的典型例子，而相同题干下的多步骤解答记分题型，除了会受到相同题干的影响之外，后续步骤的解答还会受到前面步骤解答正确与否的影响。另一方面，我们也可以通过统计分析的方法，判断测验项目之间是否存在相依关系。现在把经常用于检验项目相依关系的统计量称为Q 3 统计量，该统计量的定义过程如下：

首先，定义

其中，u ik 为第k 个被试在第i 个题目上的得分，P i （θ k ）为被试正确反应概率。根据这个式子的定义，可以计算出每个被试在每个项目上的d 值。然后，定义

r 为两个题目i 和j 之间的相关系数，其相关系数的计算是基于式（4-5）所定义的d 值的，也就是说，在计算相关系数之前，首先需要把得分矩阵中的各个0和1形式的分数转换为d 值。当我们所选择的项目反应模型与测验数据拟合良好时，Q 3 统计量的相关系数r 按照Fisher转换为z 值后，将服从正态分布，其平均数为0。对于三参数逻辑模型，其方差为1/（n -3），其中，n 为参与相关系数计算的被试样本容量。相关系数r 按照Fisher 转换为z 值的式子如式（4-7）所示：

ln为取自然对数符号。当然，读者也可以通过查表的方式获得转换值，许多应用类统计书都会提供这类转换表。

有研究者又指出，使用Q 3 统计量对项目相依性进行检验的实际应用，很少基于正态分布理论对其Fisher转换值进行检验，而是直接给Q 3 统计量的绝对值划定一个临界值，根据经验，该临界值定为0.2。如果Q 3 统计量的绝对值大于该临界值，则可以认为这两个项目之间可能存在相依关系。

三、补偿性检验

根据补偿效应的判定规则，存在补偿效应意味着作答结果是正确有效的，另外还必须使用不同的解题方案。补偿效应具体体现在认知诊断评价理论中，就是在某些题目的作答上，被试可能使用了不同的知识属性（答题策略），却获得了同样正确的作答结果，于是我们认为，这些不同的答题策略包含的知识属性之间存在相互补偿的关系。在解决相同的问题时运用了不同的知识属性，这可能是因为被试掌握了其中一种解题策略包含的知识属性，但未掌握另外一种解题策略包含的知识属性，也可能是因为该被试掌握了所有的知识属性，只是选择了其中一种解题策略。

我们可以根据以上关于补偿效应的概念来划分其检验的方法。

第一种检验方法是专家判断法。首先，邀请三四位领域专家，让他们理解并熟悉测验认知模型（参见后面关于属性定义的相关内容）及其示例题目的命制规则，同时解释补偿效应的概念。其次，专家基于认知模型初步判断属性之间是否存在补偿效应。再次，专家对示例题目的解题策略进行演示，分析是否存在不同的解题策略。最后，结合认知模型和示例题目，判断该领域的知识属性之间是否存在补偿效应。

第二种检验方法是基于被试作答的原始资料分析的方法。为了检验测验认知属性之间是否存在补偿效应，可以将测验认知模型定义时命制的典型事例题目组成试卷，挑选一批来自不同子群体且在该领域水平中等及以上的被试作答试卷。作答过程中要求被试将答题的策略和具体过程详细地写出来。研究者根据对被试的这些原始作答信息的分析，判断每个典型项目是否有不同的解题策略，并据此分析属性之间的补偿效应。

第三种检验方法是基于统计分析的方法。统计分析方法一般基于测试样本数据进行推断。首先，选择一个认知诊断模型，最好选择非补偿模型，因为补偿模型经常是可以解释非补偿数据的，在此以非补偿的DINA模型（关于该模型的具体介绍请参见后面有关章节的内容）为例。根据测试数据，估计被试属性掌握模式和项目参数。然后，将所有被试按属性掌握模式进行分类，同时，将所有题目按测试属性进行分类，即测验Q 矩阵。根据测试的属性个数，每次对单个题目进行检验。首先检验测试了单个属性的题目，然后检验测试了更多属性的题目。在对各个题目进行检验时，将在该题目上正确作答的被试分成两类：一类掌握了该题目要求的所有属性；另一类未掌握该题目要求的所有属性。

按照DINA模型的定义，被试未掌握要求的属性却答对题目的情形被认为是猜测的结果，但这种情形也有可能是因为题目属性未定义完备，或存在其他的解题策略。当未掌握要求的所有属性的被试答对比例足够高时，我们应该怀疑题目属性定义可能出现了偏差。出现这类属性定义偏差的情形有三种：第一种是属性定义错误，在作答中的表现是，掌握和未掌握该属性的被试答对的整体比例均较低；第二种情形是定义的属性数目超过了题目应该要求的属性数目，在作答中的表现是，掌握了两个属性和掌握了其中一个必要属性的被试答对比例相近，但只掌握了另外一个非必要属性的被试答对比例较低；第三种情形是有可能存在其他解题的替代方案，即运用其他属性也可以答对，这就是补偿效应，在作答中的表现是，掌握了题目定义属性和未掌握题目定义属性的被试答对比例均较高。

因此，在掌握了题目要求的属性的被试答对比例足够高的前提下，当未掌握题目要求的所有属性的被试答对比例超过了正常猜测的答对比例时，就需要进一步检验该题目是否有替代的解决方案，即这类被试在作答中可能使用了不同的知识属性。不过，通过统计分析的方法找出替代的具体属性或属性组合是一个比较复杂的过程，这时可以结合专家的分析和判断，也可以结合被试作答原始信息资料的方法进行判断。

以上几种假设检验都是针对数据资料本身的特性进行分析检验的。对测验资料假设进行逐项检验可能是一个非常烦琐的过程，而且有些假设条件之间本来也是相互关联的，如作答过程真实性可能会影响被试的局部独立性。

假设检验都是为数据资料选择合适的分析模型提供证据保障的，为此，我们可以假设所选择的模型与数据资料之间是拟合的，然后检验基于所选择模型的分析结果是否符合预期，来判断模型选择的合理性。下面介绍另外两种检验方法。

四、模型-资料拟合检验

不同的认知诊断模型建立了包含不同参数的项目反应函数，以描述不同水平被试答对每个项目的概率。借鉴项目反应理论中的模型-资料拟合检验方法，我们可以基于不同水平被试的观察答对比例与项目反应函数的答对比例之间的一致性来构建拟合检验统计量。其实已经有许多研究者提出了各种基于这种分析逻辑的检验方法。我们以DINA模型为例，首先，依据该模型估计所有被试的属性掌握模式，并将属于相同属性掌握模式的被试归类到一组；其次，根据DINA模型的项目反应函数计算各组被试（其实，对于DINA模型来说，这时候只有两个组，即掌握了项目测量的所有属性的被试组和未掌握项目测量的所有属性的被试组）在各个项目上的答对概率（期望比例），同时，统计各组被试（注意与前面分组一致）在各个项目上实际观察答对比例；最后，计算期望答对人数与观察答对人数之间的差异统计量，即拟合统计量，作为所选模型与实际观察数据之间拟合程度的指标。拟合性程度指标可以使用皮尔逊卡方统计量（Pearson chi-squares），如式（4-8）所示：

其中，k 表示被试按属性掌握模式分组的组数（同样，对于DINA模型来说，这时只有两个组，即掌握了项目测量的所有属性的被试组和未掌握项目测量的所有属性的被试组），f oj 和f ej 分别为各个组正确作答的观察被试个数和期望被试个数。正确作答的观察被试个数，通过直接点算相应组的实际正确作答人数得到；正确作答的期望被试个数，通过相应组总人数乘项目反应函数计算的正确作答概率得到。

另外，杨统计量是实际使用非常广泛的另一个模型拟合性程度指标，也叫Q 1 统计量，其定义如式（4-9）所示：

式子中，k 表示被试按属性掌握模式分组的组数，N j 表示处于第j 组的被试数量，Q ij 表示第j 组被试在第i 题上的实际观察正确作答比例，E ij 表示第j 组被试在第i 题上的期望正确作答比例，这里就是通过模型的项目反应函数计算得到的正确反应概率，也可以用杨提出的式（4-10）进行计算：

P i （α l ）就是属性掌握模式为α l 的被试在第i 题上的正确反应概率，杨统计量渐近地服从自由度为（k-c ）的卡方（χ 2 ）分布，c 表示模型中的参数个数。杨同时定义整个测验与所选项目反应模型的拟合程度为各个题目Q 1 的累加和。

另外，有一些在各学科领域常用的模型资料拟合统计量，如AIC统计量（Akaike information criterion）、BIC统计量（Bayesian information criterion）、DIC统计量（deviance information criterion）等，也可以用于指导我们选择更合适的认知诊断模型。其实，AIC统计量、BIC统计量和DIC统计量的建构逻辑原则非常相近，但在应用中存在一些差异。我们依次介绍这几个统计量及其使用。

AIC统计量是在给定一批数据资料的情形下，表示多个统计模型之间对该数据资料的拟合质量的测量指标。AIC统计量分析了每个模型相对于其他模型的拟合质量，因此可以协助为数据资料选择更合适的模型。AIC统计量是基于信息理论建构的，表示了使用某个模型来解释数据资料时相对的信息丢失量。当然，模型的参数越多，越能更好地解释数据，越能利用和传递数据包含的信息，但模型本身就会显得更加复杂而难以处理。因此，AIC统计量是在模型和数据的拟合优良性与模型的简化程度之间进行权衡的指标。AIC统计量无法提供关于某个模型绝对意义上的拟合程度评价信息，即使所有模型实际上拟合数据的程度都很差，AIC统计量也无法给出一个临界信息。因此，这类拟合统计量被归类为相对拟合统计量。

假设有一批数据资料U，统计模型M用于解释这批数据。W表示模型估计的参数个数。比如，DINA模型估计的参数数目为2J （题目参数个数，J 为题目数）+2 K -1（被试参数数目，K 为测验属性个数），L max 表示模型的极大似然函数值（关于极大似然函数的概念请参见参数估计一章中的相关内容），L max =P （U|θ ，M ），θ 为使似然函数达到极大值的参数值。AIC统计量定义如下：

在一批备选模型中，AIC统计量越小的模型被认为是拟合数据资料越好的模型。根据式（4-11）可以知道，数据资料的拟合质量（通过似然函数评价拟合质量）越高，模型参数数目越小，AIC值越小。不鼓励过度拟合（overfitting），因为增加参数数目几乎总是会提升模型的拟合度。

在实际应用中，我们首先计算所有备选模型的AIC值，然后选择AIC值最小的模型。然而，实际观察数据资料总会存在误差效应，因此，如果有模型的AIC值与最小AIC值非常接近，这时应该如何选择呢？这时可以计算一个评价指标exp[（AIC min -AIC i ）/2]，i 表示一个与AIC值最小的模型竞争的模型。该评价指标表示了竞争模型相对于当前最小AIC值模型来说，有多大可能成为AIC值最小的模型。如果该评价指标值比较大，那么在选择模型时就需要更加谨慎。比较稳妥的办法是增加观察数据资料，使更佳拟合模型的选择趋于一致，同时保证参数估计的精确性和结果解释的稳定性。

BIC统计量同样是在候选模型有限的情形下选择一个最佳模型。该统计量同样认为，模型参数越多，拟合数据资料的可能性越大，但会导致过度拟合的结果。为此，BIC统计量也对模型参数的数量设置了惩罚项，而且BIC统计量对此的惩罚力度更大。BIC统计量定义如下：

其中， 是当前模型的极大似然函数值， ， 是使似然函数取最大值时的参数估计值，x 是观察数据，n 是观察数据样本容量，k 是需要自由估计的参数数目。

在多个候选模型中，BIC值最小的模型是最合适的模型。BIC值会随着需要自由估计的参数数目的增加而增大，同时也会随着模型的估计误差方差的增大而增大。也就是说，因变量（结果变量）估计偏差和自变量（解释变量）的数目会导致BIC值变大。因此，小的BIC值就意味着更少的待估参数和更佳的模型拟合度。不同模型之间的BIC值差异及其意义的判断一般参照以下标准：0～2意味着模型效率差异不明显；2～6意味着推荐选择BIC值更小的模型；6～10意味着强烈建议选择BIC值更小的模型；大于10意味着两个模型具有显著不同的解释力和应用价值，BIC值小的模型应该被选择。

BIC统计量比AIC统计量更严厉地惩罚参数冗余，当然，两者之间的差异会受到样本容量及样本容量与参数数目的相对大小的影响。另外，BIC统计量和AIC统计量一样都是相对拟合统计量，均没有绝对意义上的统一的临界值。

关于DIC统计量，我们首先定义离差统计量：

其中，y 代表了结果数据，θ 是模型的未知参数，P （y|θ ）是似然函数，C 是一个常数。这个常数在对不同模型进行比较时会被抵消，因此我们在实际应用中不用知道它的具体取值。

在评估模型的有效参数个数时，有两种常用的计算方式，分别是： ， 是θ 的期望； 。当然，模型的有效参数越多，模型会越容易拟合数据，当然模型也就越复杂，因此，在评价模型的合适性时，相应的离差统计量就应该受到惩罚。于是，DIC统计量定义如下：

DIC值越小的模型是更应该被选择的模型。根据DIC统计量的计算模式，在模型选择时，它既会受到 值的影响，也就是模型越拟合， 值越小，同时它还受到有效参数个数p D 的影响。由于随着模型参数的增加， 值会减小，因此，p D 值可以惩罚增加未知参数带来的模型更加复杂的问题。

相对于其他统计量在评价贝叶斯模型的合适性时，DIC统计量在马尔可夫链蒙特卡洛（MCMC）模拟方法中更容易被计算。AIC统计量和BIC统计量均需要计算参数的极大似然函数值，这一点在MCMC模拟中难以做到。但是对于DIC统计量， 的值可以通过计算MCMC生成的所有参数估计样本值θ 的D （θ ）的平均数得到，而D （ ）的值可以通过计算所有参数估计样本值θ 的平均数 的D 值而得到。

DIC统计量更倾向于选择数据拟合良好的模型，因此可能会产生过拟合的评估结果。同时，与AIC统计量和BIC统计量一样，DIC统计量是一个相对拟合指标。DIC统计量也容易受到样本容量大小的影响，同时，只有当后验分布渐近多元正态分布时，DIC统计量的检验结果才是可信的。

五、被试-模型拟合检验

在进行模型-资料拟合检验时，一般都是通过作答数据检验各个项目是否拟合模型，很少关注被试作答行为是否拟合当前模型。主要是因为被试是一个随机化的样本，而测验是一个相对稳定的结构化变量。其实，在实际的评价项目中，当前所选模型可能对有些被试的作答结果无法很好地进行解释，也就是说，当前模型参数也许并不能很好地描述被试真实的潜在特质水平。因此，从被试评价的角度来说，有必要对每个被试也进行模型-资料拟合检验，以对被试水平做出更加准确的判断。

对于认知诊断评价，被试与模型之间的拟合检验显得尤为重要。因为被试作答测验时所应用的知识结构也许与模型所定义的那些知识结构并不是一致的。崔等人基于属性层级方法（attribute hierarchy method，AHM）的思想，提出了一种检验被试拟合程度的统计量指标——层级一致性指标（hierarchy consistency index，HCI）。

在项目反应理论中，对于某个被试来说，当某个题目的答对概率较高却作答错误，而当某个题目的答对概率较低却作答正确时，我们认为这样的作答模式是不正常的。

在认知诊断评价中，被试水平不再只是通过一个单独的能力水平分数来评价，而是通过其在多个测验属性上的发展状态来评价。这些测验属性之间很有可能存在层级关系（虽然有的诊断模型在参数估计过程中并不强调属性层级的作用，但在补救教学阶段却仍然必须定义属性间的层级关系）。这时就必须要检验被试在作答反应中所运用的知识结构是否与基于该层级关系建立的Q 矩阵一致。

Q r 矩阵定义了每个项目测量的知识属性，被试必须掌握这些属性才能答对项目。于是，通过比较被试的观察反应模式和Q r 矩阵的属性定义模式，就可以评估被试在作答项目时是否运用了与Q r 矩阵定义的知识属性或属性组合不同的属性或属性结构。

如果被试掌握了项目测量的所有属性，那么他就应该可以答对该项目，于是，他也就可以答对所有包含答对项目子属性（项目属性是另一项目属性的子集）的项目。基于该逻辑思想，被试i 的HCI指标的构建模式如下：

其中，

包括了被试i 答对的所有项目；

是被试i 在项目j 上的得分（1或0），项目j属于 集合；

S j 包括测量了项目j 属性子集的所有项目；

是被试i在项目g 上的得分（1或0），项目g 属于S j 集合；

是与被试i答对的所有项目进行比较的总数目；

分子项中的 表示了被试的观察反应模式中与Q r 定义不拟合的项目数量。如果被试i 答对了项目j ，即 ，那么，在理论上他就应该答对属于S j 的项目g ，即 。如果被试并未实际上答对项目g，即 ，那么， ，这就意味着被试作答该项目时运用的知识结构可能与Q r 定义的不一致。因此， 表示了不拟合的总项目数。HCI指标的取值范围为-1～1。当没有不拟合的作答项目时，分子项等于0，HCI指标等于1；反过来，当被试观察反应模式与Q r 完全不拟合时（被试答对某个项目，但测量该项目属性子集的所有项目均作答错误），分子项将会等于 ，这时的HCI指标等于-1。因此，当HCI指标接近-1时，我们就有理由相信该被试在作答测验项目时运用了与Q r 定义的属性模式不同的知识或结构，或者该被试作答时采取了非正常策略，如舞弊、随意作答等，这种情形下的诊断性评价可能就失去了正常的意义。

以一个被试的观察作答反应模式为例，具体计算HCI指标的过程如下：

①找出所有作答正确的项目组成 ；

②依次以 集合中的每个项目为基础，找出每个项目的S j 集合；

③以 集合中的项目为基础，累计所有项目的S j 集合中的项目数，以此计算HCI分母项，即 ；

④以 集合中的项目为基础，累计所有项目的S j 集合中作答错误的项目数，以此计算HCI分子项，即 ；

⑤计算HCI指标值，并做出拟合程度判断。

HCI指标和前文介绍的个人作答模式拟合指数均可以对被试的异常作答模式进行检验，均依据观察结果与期望结果之间的差异做出判断。当然，这两个统计量指标的具体构建模式存在着明显的不同。

本章小结

模型-资料拟合检验检查模型参数及函数形式是否能够较好地解释或预测数据资料。每个模型都是基于研究者对数据资料形成逻辑的认知而提出的，并用参数化的函数来表示这种逻辑关系。研究者的认知需要通过对实际数据的分析进行检验。每个模型均是一个解释数据的有机整体，包括参数的设置、函数的形式及相应的假设条件，它们共同支撑模型对数据的解释，因此，任何部分的扭曲都将导致模型整体对数据解释的偏离。当然，模型的不同组成部分对整体模型的影响程度不同，有些条件还具有较好的稳健性。

我们虽然从不同的角度提出对模型进行检验，从每个角度又提出了各种不同的检验方法，但正如上面所说，其实不同角度的检验之间存在着内在的关联，均检验被试作答模式是否与模型的建构逻辑一致。因此，只要有一个角度的检验结果发现了数据偏离模型，这就意味着整个模型无法很好地解释该数据结果。

思考题

1.思考作答过程真实性假设的意义和主要的检验方法。

2.思考局部独立性假设的意义和主要的检验方法。

第五章 测验与题目属性的定义

摘要：测验与题目属性的定义是进行认知诊断评价具体工作的第一步，也是认知诊断评价的基础工作。测验与题目属性的定义直接影响评价结果的精确性和有效性。本章主要介绍了测验与题目属性定义的一般规范和主要方法。

测验属性的定义是认知诊断评价理论最基础的工作，测验属性没有定义好将影响模型参数估计结果的准确性和稳定性。当然，最关键的影响是对被试或教育者的诊断结果产生误导，失去诊断的意义。

测验属性的定义主要包括两个方面的工作：一是对某领域的认知模型进行定义，包括知识、认知技能、加工策略等成分的定义，以及这些认知成分之间层级结构关系的定义；二是将认知模型定义到测验项目任务上去，通过被试在这些测验任务上的完成情况，推断被试对该认知模型的掌握状态。

第一节 测验领域认知模型的定义

测验领域认知模型的建构需要首先确立参考的架构，主要考虑模型建构的角度和维度的精细度（属性粒度），然后在此架构基础上建构一个合理的认知模型。

一、领域认知模型的参考架构

在进行认知诊断评价之前，需要先确定评价的目标及其具体内容是什么。评价的内容可以从两个角度进行分类：一是从任务内容的角度进行分类；二是从潜在特质结构的角度进行分类。

在测验中，任务内容是被试面对的问题形式，是具体呈现在被试面前并需要给出解决方案和结果的题目。比如，小学数学考试就可能包括如下的具体任务：

6-2=？ 4+5=？ 9-2=？ 3+7=？

这一类任务可以归纳为“10以内的加减”。小学数学考试可能还包括“进位加法”“两位数相乘”“分数加减”等任务类别，语文考试就可能包括“拼音写字”“组词造句”“阅读理解”等任务类别。被试对每类内容的掌握状况会通过解答具体的、有代表性的题目任务来测量。当然，任务类别也可以包括更一般的内容，如数学类任务、语言类任务、艺术类任务、人际沟通类任务、机械操作类任务等。

潜在特质结构则指的是影响被试任务内容完成质量的内在心理结构。这些内在心理结构包括工作记忆中的信息加工效率、长时记忆中的信息存储状态、信息提取的过程，等等。比如，工作记忆的效率可能会影响信息整合的速度和质量，从而影响答题速度和质量，而长时记忆中存储信息的完备性和概念网络的合理性则会直接影响被试是否能够完成任务。当然，潜在特质结构还包括概念内涵更广的结构，如能力、智力、人格、态度、情绪等。

从以上叙述可以看出，任务内容的完成状况受到潜在特质结构水平的影响，而潜在特质结构水平需要通过任务完成状况来体现。

其实，当某一类任务包含的内容越广、越一般化时，这类任务类别就会越接近潜在特质结构的分类方式。比如，把数学、语文、物理、化学等学科任务放在一起进行测量时，可以叫作学科任务，其实也就是心理学中的一个重要的潜在特质结构——学业智力的重要测量指标。而当把潜在特质结构进行更具体的分类时，这些结构就会越接近任务内容的分类方式。比如，能力可以包括学业能力、人际沟通能力、计划组织能力等，而学业能力又可以继续细分为语言能力、数字能力、运算能力等，语言能力又可以体现为语文任务和英语任务等的完成水平，等等。在认知心理学研究中，每种认知成分的研究总是需要使用具体的任务作为刺激材料，来诱导被试的加工进程，从而对该认知成分进行分析。当然，作为刺激材料的具体任务可能不同。

因此，任务内容和潜在特质结构是从具体到一般的连续体。同一项任务内容可能受到多个潜在特质结构的影响，而同一个潜在特质结构也可以通过不同的任务内容进行测量。

那么，在对领域认知模型进行定义时，应该使用更一般的概念还是更具体的概念作为组织架构呢？这主要取决于这个目标领域的范围广度，领域范围越广，就越应该使用更一般的概念架构。比如，人格是心理学中范围较广的领域，能力是人格的一个维度，而能力也是一个范围很广的领域，它包括了许多方面的能力特质，如语言能力、沟通能力、空间转换能力等。语言能力又可以分为语言理解能力和语言表达能力，语言理解能力可以分为听的能力和阅读的能力，而语言表达能力可以分为写作能力和口头表达能力，等等。因此，一个范围非常广泛的领域很难用具体的任务概念来进行完整的描述。但是，一个范围非常具体的领域就应该使用具体的任务进行描述，因为这样可以使领域概念更加具体和易于操作。

另外，在给领域认知模型选择合适的概念架构时，还可以从命题的角度进行考虑。因为作为某个领域测验的题目，它需要有足够的代表性，能代表测量的目标，还能保证测量结果的稳定性，同时题目总量又不能太多。作为任务或刺激材料的题目，总是会存在领域具体性的问题。因此，一般来说，领域越一般的概念需要越多的题目才能代表它的完整结构，而领域越具体的概念需要的题目量则越少。即使题库的题目数量足够大，但对被试的某一次测试来说，它的测量目标领域还是有限的，测试的题目量也是有限的。因此，对于测量的目标领域非常具体的测验，可以从任务内容的角度进行分类，如各学科的单元测验和学期测验。当测量的目标领域更一般化时，需要使用更一般的概念，如升学考试的测量目标、工作中人才选拔的测量目标等。

通过具体任务来描述领域目标，这种方式的优势是直接、直观、易理解、易操作。然而，它存在的问题是列举的任务内容可能没有全面真实地代表该领域的潜在特质结构；通过潜在特质结构来描述领域目标，这种方式的优势是自上而下统合各类知识、技能和策略，具有较好的逻辑理论基础，这种描述方式的不足是测量中难以操作化。比较好的解决办法是将两种领域目标的描述方式相结合，使自上而下的理论逻辑与自下而上的材料列举有机统一。比如，语文能力评价中，首先研究确定语文能力的潜在特质结构，它包括语言的基础理论知识和语言的实际应用能力。语言的实际应用能力包括语言理解能力和语言表达能力。语言表达能力包括书面表达能力和口头表达能力。书面表达能力就体现在各类具体的任务工作中，如公文写作、散文写作、议论文写作、叙事文写作等，对于每类写作任务又可以提出具体的要求。至此，语文能力评价目标就把潜在特质结构描述有机地与具体的问题任务结合在一起，既能够较好地保证领域潜在特质结构的完备性，又能够保证问题任务有较好的代表性。

二、领域认知模型的构建

在确定了定义领域目标的参考概念架构后，接下来就是要对测量目标的认知模型进行构建。认知模型的构建过程需要将文献调查、专家定义和数据分析有机地结合在一起进行，具体步骤可以参考如下。

第一，研究人员对该领域有关的文献进行详尽的梳理，了解已有的关于该领域测量目标的定义。

第二，专家结合文献资料，初步确立领域目标认知模型，包括测量的知识、技能、问题解决策略等，以及这些成分之间的结构关系。针对每个认知模型节点（每一种认知成分或任务类型），专家需要命制一些有代表性的示例题目（具体任务）来解释它。

第三，将专家命制的示例题目组成试卷（假设专家定义的题目属性正确，题目属性定义和检验见下节内容），收集一批有代表性的被试测试数据。测试数据需要包括尽量详尽的解题过程信息、被试作答过程中的出声思考（think aloud）信息以及作答结果信息。

基于被试提供的详尽的解题过程信息和出声思考信息，可以具体分析被试在答题过程中使用到的知识点和解题的策略（protocol analysis）。对原始答题信息进行分析已经被公认为是一种有效的识别题目测量的具体知识成分及认知加工过程的方法。

另外，基于作答结果信息，我们还可以尝试针对专家定义的认知模型进行被试离散性检验和题目作答关联性检验。

被试离散性检验就是针对每个认知成分检验被试作答得分的离散性程度。离散性程度显著偏低就需要考虑对定义的认知模型进行修订。得分的离散性程度偏低可以分成两种情形：一种是被试基本掌握了该认知成分，则应该考虑删去该认知成分；另一种是被试基本未掌握该认知成分，如果的确属于该群体的测量目标，那么就应该将该认知成分进行进一步细分。

题目作答关联性检验是检验题目所代表的认知成分之间的关系。简单的检验方法就是检验每两个存在关联的认知成分之间的平均得分差异。作为前置条件的认知成分得分应该不低于作为后置条件的认知成分得分。

第二节 题目属性定义和检验

题目属性定义一般有两种情形：一种是在已经定义好了测量目标认知模型的情形下，有目标地命制适合不同属性及其结构的题目；第二种情形是对于已经命制好的题目，需要事后给题目定义属性。

一、题目属性的事先定义

在定义好了测量目标认知模型的情形下命制题目，这应该是一个比较直接的过程。根据前面关于测量目标认知模型定义的方法，同时结合文献调查、专家定义对各类数据分析之后，可以得到一个关于测量目标认知模型的细致定义，包括各认知成分的定义及其结构关系的定义，而且还匹配一套关于认知成分的比较标准的示例题目。命题专家在这些信息的基础上命制题目，只需要严格按照认知模型的定义和提供的示例题目，这样获得的题目和属性之间应该可以保持比较高的一致性。

二、题目属性的事后定义和验证

为命制好的题目事后进行属性定义，这是一个过程。在进行题目属性定义之前，当然也需要首先定义测验的认知模型，测验认知模型的定义过程和上一种情形是相同的，只不过在当前这种情形下，题目命制和认知模型的定义是两个独立的过程，是事后再将两者结合在一起的。事后题目属性定义的方法主要有两种：一种是专家定义法；另一种是统计推断法。

专家定义法是领域专家参照定义的认知模型，为题目指定属性。如果认知模型定义地足够细致，且有参照示例题目，那么，专家的题目属性定义过程应该会比较有效。如果条件允许，最好能够给领域专家提供代表性被试的作答过程原始资料，以保证属性定义结果更加稳定有效。在专家定义法的实施过程中，针对每套题目，至少应该安排3位领域专家进行独立属性标定，最后对定义的结果进行一致性程度评价。如果整体一致性程度较低，那么专家对测验认知模型的理解可能存在歧义。如果只是在某些题目属性的定义上一致性程度较低，那么就需要根据具体问题分析产生的原因，最后专家达成一致意见。

应用统计推断法来给题目定义属性，是一种基于数据驱动的属性定义方法。统计推断法定义题目属性主要应用在两个方面：一是对已定义属性的题目进行验证，基于数据信息判断属性定义是否合适；二是对未定义属性的题目指定属性。

认知诊断模型用于描述拥有某种属性掌握模式的被试在定义了属性模式的题目上的作答反应。如果模型无法描述这两者之间的关系，那么模型参数就会表现异常。比如，当题目属性定义错误时，它就无法与被试属性掌握模式之间产生正确的对应关系，导致函数模型被扭曲，模型参数出现异常。许多研究者基于这种逻辑提出了不同的题目属性验证方法，以及对这些方法的改进。这里只介绍其中的两种方法供读者参阅和研究。

德拉托尔（de la Torre，2008）提出了一种基于DINA模型的题目属性验证方法——基于EM算法的δ系列搜索法（the sequential EM-based δ-method）。假设某领域有K个属性，用α l （l =1，2，…，2 K ）表示2 K 种属性掌握模式，q j 表示题目j 的属性向量。对于DINA模型来说，如果题目属性定义正确，那么，掌握了所有属性的被试与未掌握所有属性的被试之间的正确作答概率之差应该达到最大，即正确的题目属性定义q j 应该满足如下定义：

题目j的属性向量有2 K -1种可能（没有全0的题目属性向量）， ，用α l′ 表示每种可能的题目属性向量。根据DINA模型项目反应函数知道， ， 。因此，使上式表示的差异最大，也就等于使题目参数s j 与g j 之和最小。当然，题目参数s j 与g j 之和足够小可以说明题目属性定义比较好，但题目参数s j 与g j 之和很大并不意味着题目属性的定义还有更好的选择，除非对整个测验的认知模型进行重新定义。δ j 还可以用于评价题目j 的区分能力，即区分掌握了所有题目属性的被试与未掌握所有题目属性的被试之间正确作答概率的能力。当然，δ j 并不是题目的内在特性的标志，因为它会随着题目属性定义的变化而变化，是题目属性定义结果的一个附属特性。

德拉托尔又提出了两种基于该指标的搜索正确题目属性定义的方法（de la Torre，2008）：一种是穷尽搜索法；另一种是系列搜索法。

穷尽搜索法就是对所有可能的2 K -1种题目属性向量进行搜索，在每种题目属性向量定义情形下，计算不同组 被试的正确反应概率之差，找到使指标值达到最大的属性向量。

系列搜索法就是按属性个数进行逐步搜索，从局部最优过渡到整体最优。具体过程如下，首先从包括一个属性的属性向量开始进行比较，在这个局部计算所有的δ j 值，将使δ j 值最大的属性纳入下一步的属性组合。比如，在第一轮中，如果第一个属性计算的δ j 值最大，那么，下一轮将基于第一个属性与其余属性组成两个属性的向量计算δ j 值，而其他两两属性组合将不被考虑。如果第二轮的计算结果是第一个属性与第三个属性组合的δ j 值最大，那么，下一轮将基于第一个属性、第三个属性与其余属性组成三个属性的向量计算δ j 值。如果这一轮计算的所有δ j 值均小于上一轮最大的δ j 值，那么，搜索过程终止，否则按上述方法继续，直至发现最大δ j 值为止。系列搜索法比穷尽搜索法的计算量更小。

基于实际测试数据的属性验证过程还涉及题目参数和被试属性掌握模式的估计问题，每次更换题目属性向量时，可能就需要同时更新所有参数估计结果，这是一个非常庞大的计算。为此，提出了基于EM算法的解决方案（de la Torre，2008），其项目参数的估计为：

式子中的上标0和1分别代表了未掌握所有规定属性的被试期望作答结果和掌握了所有规定属性的被试期望作答结果（具体的参数估计过程请参见后面章节中关于基于EM算法的边际极大似然估计的相关内容及其示例）。

基于实际测试数据对题目属性进行统计推断的方法不可避免地会遇到统计算法中经常出现的问题。首先，参数估计会受到实际数据的影响而可能出现偏差，特别是在当前问题情境下，错误的属性定义可能还会给其他项目参数的估计传导误差效应。另外，统计推断的参照标准的确立会直接影响统计推断结果，因为在实际测试数据情形下，统计量值总是在波动变化，可能会服从某种分布规律，但在进行统计推断之前，需要确定其分布规律及判断临界值。比如，在当前问题情境下，δ j 值既包括真值，也就是真正由不同掌握模式被试导致的真实差异，也包括误差值，也就是实际测试数据中可能包含的各种误差来源的影响效应。因此，最大的δ j 值对应的属性掌握模式不一定就是真实的题目属性向量。作为标志题目属性定义合理性的统计量——δ j 值能够为统计推断提供支持信息，这些支持信息必须结合专家判断才能做出合理的决策。

喻晓锋等人（2015）受项目反应理论中模型-资料拟合检验方法的启发，提出一种题目属性定义和检验的方法。他们认为，在认知诊断评价中，测验中的题目属性定义与作答反应数据的拟合情况，应该也是可以按照类似项目反应理论中的模型-资料拟合检验的方法进行检验的，选择拟合指标最好的题目属性向量作为当前作答反应数据所对应的题目属性定义。基于这种逻辑假设，提出了一种简单易懂的定义和验证题目属性向量的方法：基于似然比统计量，同时对被试的属性掌握模式、题目参数和题目的属性向量进行联合估计和验证。

记题目j 属性向量为q j ，基于DINA模型的题目的似然比统计量 定义如下：

式子中，K 为测验属性个数，所有可能的被试属性掌握模式为2 K 种，η ij 表示第i 种属性掌握模式的被试是否掌握了题目j 要求的所有属性，取值为1（全掌握）或0（未全掌握）。N i 是第i 组被试的总人数，r i 是N i 中正确作答题目的人数。s j 和g j 分别是题目j 的失误参数和猜测参数。p ij 是第i 组被试中实际正确作答题目j的人数比例， 。

当题目属性向量q j 定义正确时，对于η ij =1的被试组，p ij 接近于1-s j ，对于η ij =0的被试组，p ij 接近于g j ，此时统计量 接近于0。因此，选择使统计量 最小时的属性向量作为题目的属性定义。 统计量与项目反应理论中的似然比拟合统计量G 2 的构建方式相同，当按照边际似然估计方法估计项目参数时，似然比统计量的自由度等于对被试所分的组数，因此， 统计量服从自由度为2 K 的χ 2 分布。

基于似然比统计量 的题目属性定义和验证方法具体过程如下。

首先，假设已经有少部分题目属性被正确定义，称这部分题目的集合为“基础题”，记为Q base 。属性向量未定义的题目集合为“新题”，记为Q new 。采用“增量”的方式每次从“新题”集合中选择一个题目（记为q new ）累积加入Q base 中，然后联合估计Q base 的题目参数、q new 的属性向量和题目参数，直到所有新增题的属性向量和参数都被估计。接下来的估计过程包括两大步骤。

第一步是估计所有新增题目的属性向量和题目参数，包括以下几个具体步骤：

①从Q new 中选择一个题目，记为q new ，将q new 加入Q base 中，并且把q new 作为第1个题目；

②以Q base 、q new 和作答数据为基础，使用MMLE/EM算法（de la Torre，2008）联合估计题目参数和被试的属性掌握模式；

③对于新增题目，寻找似然比统计量 最小时对应的属性向量作为该题目的属性定义，此时得到的题目参数作为题目参数估计值；

④重复步骤①③，直到所有新增题目都被估计，则得到包含所有题目的属性向量矩阵Q。

第二步是对所有题目的属性向量和题目参数进行校正，包括以下几个具体步骤：

①迭代开始，记由以上第一大步估计得到的Q矩阵为 ，这个 可能会包含少量的属性定义错误；

②基于 和作答数据，使用MMLE/EM算法估计出题目参数和被试属性掌握模式；

③对于题目j ，对其可能的属性向量（共2 K -1种），计算统计量 的值，其中m 表示 的值是当题目j 取第m 种属性向量时计算得到的，m ∈{1，2，…，2 K -1}。需要注意的是，每次题目j 的属性向量发生改变，都需要重新估计题目参数和被试参数；

④对于题目j ，寻找使 值最小时对应的属性向量，看其是否与当前界定的属性向量一致，如果不一致，则更新题目j 的属性向量；

⑤重复步骤②④，直到所有的题目都被校正，记此时得到的Q矩阵为 ，即对所有题目完成估计后的Q矩阵，到此完成一次迭代，迭代次数加1；

⑥如果 与 相同或迭代次数达到预先设定的最大值（如20），则算法结束。否则，将 赋给 ，作为初始的Q 矩阵，重复步骤①～⑤；

⑦算法结束，得到Q 矩阵的最终估计值。

第一步对每个题目进行估计时，每次是“增量”式地选择一个新题进行估计，当包含的“基础题”较多时，这种方法会有利于对每个新题的估计，因为此时数据包含较多有用的信息和较少的噪声信息。但是当“基础题”的数量较少时，即当数据包含的信息不足以对某些新题进行估计时，偏差可能会出现。当然，正如其他统计推断方法一样，基于统计量的决策总是会受到测试数据误差的影响，因此，最终结果应该结合专家判断进行综合决策。

本章小结

领域目标的定义是评价活动的参照标准，如果参照标准出现偏差，评价活动将失去意义。领域目标的定义应该将自上而下的理论逻辑驱动与自下而上的任务材料列举有机结合，这样既能够保证领域目标定义的完备性，又能够保证测量过程的精确性。

题目属性定义包括两种形态：基于已定义的属性命制题目和基于已命制的题目定义属性。无论哪种形态下的题目属性定义，都需要专家定义与数据分析相结合。专家定义提供了关于题目属性定义的理论和个体先验信息（基于大量过去经验的总结），数据分析提供了关于题目属性定义的样本测试数据信息，两种信息的有机结合能够提供关于使题目属性定义得更加完备的后验判断。

领域目标的定义是题目编制的基础，题目编制是为了测量和评价具体被试或群体在领域目标上的发展状态。测验题目属性定义是为了使编制的测验与领域目标有机地结合在一起。

思考题

1.如何从任务内容角度和潜在特质结构角度定义领域模型？

2.领域认知模型建构的主要方法有哪些？

3.你了解的题目属性定义和验证的主要方法有哪些？它们有哪些优势和不足？

第六章 认知诊断评价理论的代表性模型

摘要：自从认知诊断评价理论受到心理与教育测量学界关注以后，计量学模型的开发和完善一直是研究的热点方向。各种模型适用于不同的测量情境或服从于不同的假设条件。至今，已提出的认知诊断模型有一两百种，每个模型各有优势，也有不足。本章将选取几个代表性强、受到较多关注的模型进行介绍，以阐述认知诊断模型是如何服务于认知诊断评价的。

在认知诊断评价理论中，我们基于某种数学模型、实际测试数据和测验结构定义，获得模型中各类相关参数的估计值，进而分析测验特性和被试的发展水平，为进一步评价提供依据。认知诊断评价理论已经提出了很多模型，本章将选择一些影响较大的典型代表性模型进行介绍。

第一节 规则空间方法

被试在解决问题的过程中，如作答数学题目，有时会因为其未理解或未掌握相关的概念，从而错误地应用解题规则。导致问题解决失败的错误规则可能有很多种，正确解决问题也并不一定就意味着被试应用了正确的解题规则，可能是碰巧。当然，正确地应用解题规则肯定可以成功地解决问题。

规则空间方法（rule space method，Tatsuoka，1983）用于分析被试在某个认知领域中的错误规则发生的可能性、诊断被试发生的错误规则并清晰地描述这种错误规则应用的状况。

一、规则空间建立

在规则空间方法架构下进行认知诊断分析，首先需要建立规则空间。规则空间是由被试潜在特质水平（θ ）和偏离警戒指标（ζ ）构成的二维空间。

被试的潜在特质水平θ 是由项目反应理论模型定义的变量。研究者可以选择单、双、三参数逻辑模型中任一合适的模型来估计被试特质水平θ 的值，如双参数逻辑模型定义特质水平为θ 的被试正确作答项目的概率为：

ζ 是一个基于被试潜在能力水平的警戒指标变量，它表示能力水平为θ 的被试，其实际测验项目作答反应模式偏离该能力水平对应的理想项目反应模式的程度。

设被试项目作答反应模式向量X =（x 1 ，x 2 ，…，x n ），其对应的正确作答概率向量P （θ ）=[P 1 （θ ），P 2 （θ ），…，P n （θ ）]，对应的测验反应函数向量T （θ ）=[T （θ ），T （θ ），…，T （θ ）]，T （θ ）为被试在所有项目上的反应函数的平均数，即 ，定义：

将f （X ）重写为X 的线性函数形式：

对于能力值为θ i 的被试，函数f （X ）的期望为0，其方差为：

于是，警戒指标ζ 就定义为函数f （X ）的标准化形式：

ζ 的作用主要有三个方面：①构建一个与IRT中的θ 变量成正交关系的变量，共同组成一个分类规则空间；②有了该指标，就能够大大降低分类空间的维度，从维度为测验题目数降低到只有两个维度的分类空间；③将指标值相近的作答模式聚集到某个规则点周围。

变量θ 和ζ 组成了规则空间方法中的分类规则空间（rule space）。由这两个变量组成的规则空间有两个优势：①规则空间中的两个变量均是连续变量，很容易计算马氏距离平方（squared Mahalanobis distance）指数；②规则空间中的两个变量之间是不相关的，更容易进行分类分析。

二、被试属性掌握模式分类

建立了规则空间之后，下一步就是如何将被试观察作答反应模式进行归类，并判断其对应的属性掌握模式。

记理想项目反应模式为R ，对应的知识状态为π R ，能力水平IRT估计值为θ R ，警戒指标记为ζ R ；记实际观察的项目反应模式为X ，能力水平IRT估计值为θ X ，警戒指标记为ζ X 。

实际观察的项目反应模式可能存在各种作答失误，由此估计得到的θ 和ζ 值将会与由（潜在的）理想反应模式估计得到的值存在一定的差异。在这种情况下，观察的项目反应模式应该归类到哪一种理想反应模式中呢？

假设来自某理想反应模式的观察反应模式服从多变量正态分布，以理想反应模式R l 为中心，协方差矩阵 为：

I （θ ）为测验信息函数，对于双参数逻辑模型：

记X ′=（θ X ，ζ X ）为观察反应模式X 在规则空间中对应的一个点。于是可以计算马氏距离平方：

根据上文知道 。

根据观察反应模式与所有理想反应模式之间计算的马氏距离，取马氏距离最小的理想反应模式对应的属性掌握模式，作为该观察反应模式的最佳属性掌握模式。

这里有一个需要指出的重要问题是，我们将观察反应模式通过马氏距离指标归类到某个特定理想反应模式，其实就是为该观察反应模式选择了一个比较合理的归属总体。然而，这个归类过程可能会出现误差，即Ⅰ型误差（type 1 error）和Ⅱ型误差（type 2 error）。另外，该方法的归类过程是两两进行距离比较的过程，这与同时和多个总体进行比较是不同的。本书深入讨论这些问题似乎没有必要，但读者需要了解这些问题的存在。

第二节 属性层级方法

莱顿等人（Leighton，Gierl，& Hunka，2004）提出了对被试认知属性进行诊断的属性层级方法（attribute hierarchy method，AHM）。

一、属性层级

AHM将被试的测验项目作答模式对应到已定义好的结构化属性模式（structured attribute patterns）中，结构化属性也叫属性层级（attribute hierarchy），定义了被试在问题解决中所需属性的结构顺序，也就是任务解决中的认知模型。属性层级在AHM中起着基础性的作用，它代表了被试在测验作答过程中涉及的知识技能及其结构关系。邻接矩阵说明了属性之间的层级关系，因此，在AHM中也起着关键作用。吉尔等人认为，基于某个认知模型的测验分数推论更加具有解释力，对于理解和评估被试的表现也更具有实质意义。

属性层级方法是一种表面上与规则空间方法非常相近的方法。方法提出者认为AHM是规则空间方法的变化，但他坚持认为两种方法之间有很大的不同。最本质的不同在于AHM认为测验认知属性之间是存在层级关系的，因此是相互依赖的；而规则空间方法则没有重视测验属性之间的层级关系及其相互依赖性，也没有在邻接矩阵中刻意进行定义。另外，AHM认为，必须在测验编制之前定义好属性层级结构，并依此属性层级结构编制测验项目，这样才能保证编制的项目能够推导出唯一的邻接矩阵；而规则空间方法总是先编制好测验项目，然后再根据测试数据推导出属性邻接矩阵，这样很难保证邻接矩阵的唯一性。

二、基于属性层级的被试属性掌握模式诊断

AHM将被试的作答表现与认知模型结合在一起的诊断过程分为四个主要步骤。

第一，定义任务解决认知模型，也就是属性层级，属性层级关系一般有四种典型模式，已在前文中描述。

第二，命制题目测量认知模型所定义的认知成分，根据属性层级结构来命制测验项目，测验开发者可以完全控制每个项目测量的属性。

第三，基于认知模型对被试作答表现进行记分和分析。有了属性层级结构，就可以推算出理想被试的理想反应模式（注意：AHM中作者使用expected代替ideal，并认为两者强调了不同的意义）。理想被试的作答过程是不存在猜测和失误的。基于理想被试反应模式矩阵，利用项目反应理论中的模型，首先估计出每个项目的参数以及理想被试的能力参数，这是AHM进行分类的基础。AHM提出了两种对被试观察反应模式进行分类的方法，分别叫方法A和方法B。下面分别对这两种方法进行简要的介绍。

方法A：初级分类法（preliminary classification method）。该方法将被试观察反应模式与所有的理想反应模式进行比对，找到最匹配的理想反应模式，其对应的属性掌握模式即为该被试的归类结果。具体来说，用X 表示被试观察反应模式，用V j 表示第j 种理想反应模式，d j =V j -X 就会产生一个可能包含0、-1和1的向量，各个元素表示在各个题目上的理想反应与观察反应之间的一致性，0表示观察反应与理想反应一致，-1表示理想反应答错，实际观察反应却答对（简记为01误差），其发生的概率表示为P jk（θ） ，1表示理想反应答对，实际观察反应却答错（简记为10误差），其发生的概率表示为1-P jm （θ） 。K个发生“01误差”的项目和M 个发生“10误差”的项目的联合概率表示为：

式（6-9）表示了观察反应模式属于某一理想反应模式的可能性大小。若K 和M 均为0，则观察反应模式与理想反应模式完全一致。若K 和M 并不全为0，那么，P jExpected （θ） 越大，则表示观察反应模式属于该理想反应模式的可能性越大，反之，P jExpected （θ） 越小，则表示观察反应模式属于该理想反应模式的可能性越小。在这里，P 的计算均是基于项目反应理论模型的，模型参数值使用上文提到的理想反应模式矩阵的估计结果，按照这种模式计算的P jk （θ） 表示了第j 种理想反应模式对应的能力水平答对第k 题的概率，而1-P jm （θ） 表示了第j 种理想反应模式对应的能力水平答对第m 题的概率。需要特别注意的是，这里的k 和m 分别表示的是“0 1误差”项目集和“1 0误差”项目集中的顺序。

方法B：验证分类法（verification of preliminary classification metod）。该方法比方法 A更加简单直接。首先，需要识别出逻辑上属于观察反应模式子集的所有理想反应模式。比如，如果观察反应模式为1 1 1 0 1，那么，理想反应模式1 1 0 0 0、1 0 1 0 1、1 1 1 0 0、1 0 0 0 1等就是观察反应模式的子集，这些子集所对应的属性掌握模式也被认定为被试已经掌握。如果理想反应模式不是观察反应模式的子集，如0 1 1 1 1、0 0 0 1 1等，则需要分别计算每个此类理想反应模式中“1 0误差”发生的概率之积，以此作为对被试进行判断分类的证据。“1 0误差”发生的概率计算方式与方法 A一致，即1-P jm （θ） ，该值越大，则观察反应模式属于该理想反应模式的可能性越大。因此，方法B中P jExpected （θ） 的计算只是针对发生了“1 0误差”情形的理想反应模式，被试观察反应模式分类也只在这些理想反应模式中进行判断。

第四，报告分析结果。报告结果需要注意几个方面：首先，需要详细地解释每个属性的意义，并且以具体项目为例来说明属性的测量方式；其次，需要提供如何根据被试测验分数对其属性掌握状态进行解释的指导原则；最后，在给教育者提供结果解释时，需要通过学生诊断剖面图、个案分析的方式向教育者说明不同作答结果的认知心理学意义。

第三节 DINA模型

规则空间方法和属性层级方法通过一套严密的统计识别方法对被试的属性掌握模式进行诊断。DINA模型则通过一个简洁的参数化模型实现对被试属性掌握模式的诊断。

一、模型定义

DINA模型（the deterministic inputs，noisy “and” gate model） 的项目反应函数定义如下：

式（6-10）表示了被试i 在项目j 上的正确作答概率。其中，x ij 表示被试i 在项目j 上的作答得分，可以取0或1，0表示错误作答，1表示正确作答。η ij 表示被试i （知识状态为α i ）在项目j （属性向量为q j ）上的理想作答，其计算公式如下，其中测验所考察的属性个数为K 。

η ij 表示了只有当被试i 掌握了题目j 所考察的所有属性时，η ij 才可能取值为1，被试i 未掌握题目j 的任一属性将导致η ij 取值为0。s j 和g j 分别表示项目j 的失误和猜测概率，其中s j 表示被试i 掌握了项目j 考察的所有属性而错误作答的概率（失误概率）；g j 表示被试i 未完全掌握项目j 考察的所有属性而正确作答的概率（猜测概率）。s j 和g j 的含义可以分别用式（6-12）和式（6-13）表示。

当然，关于s 和g 的含义的具体解释可能会有多种。比如，关于s 的解释有，被试掌握了项目定义的所有属性时依然错误作答，这可能是因为该项目属性定义错误，或少定义了某个属性。而关于g 的解释有，被试未掌握项目定义的所有属性时依然正确作答，这可能是因为被试使用了其他的作答策略，即被试作答时使用了测验未定义的属性。

二、模型的特性

DINA模型中每个项目只有两个参数，即s 参数（失误参数，slip）和g 参数（猜测参数，guessing），因此DINA模型是一种很“节省”的模型。

DINA模型是一种非补偿型（noncompensatory）模型（de la Torre，2008）。被试要答对题目就必须掌握题目考察的所有属性，属性之间不存在补偿效应。

在DINA模型中，“确定性输入”（deterministic inputs）是指DINA 模型中被试的理想作答η 完全是由其知识状态和测验Q矩阵共同决定的。也就是说，在理论上，被试必须掌握项目所定义的所有属性才能答对该项目。

“噪声输出”（noisy output）是指被试在实际作答项目时总是会存在猜测和失误，实际的作答结果总是存在随机性情形。也就是说，被试即使完全掌握了项目所考察的所有属性，也未必能正确作答该项目，而被试即使并未完全掌握项目定义的所有属性，也未必能错误作答该项目。

模型中，“与门”（“and”gate）的意义反映在被试的理想作答η 的计算过程中。也就是说，被试要正确作答某个项目，就必须完全掌握项目考察的所有属性，缺少任何一个属性都无法正确作答该项目，这实际上是属性“连接”（conjunctive）的含义。DINA模型用一种比较简洁的方式解释了被试在项目作答中的行为。被试正确作答项目的概率是由其属性掌握模式α i 和项目测量的属性模式q j 决定的，同时还会受到随机因素的影响（通过s j 和g j 来反映）。正是由于DINA模型能够较好地解释被试的作答行为，同时又具有简洁性的特征，因此受到较多研究者的关注。

第四节 NIDA模型

与DINA模型形式上非常接近的一个模型是NIDA模型（the noisy inputs，deterministic “and” gate model，Maris，1999；Junker & Sijtsma，2001）。

一、模型定义

NIDA模型的项目反应函数为：

其中，X ij 表示被试i 在项目j 上的作答得分，可以取0或1，0表示错误作答，1表示正确作答。q jk 表示项目是否测量了属性k ，取值1表示是，取值0表示否。α ik 表示被试i 是否掌握了属性k ，掌握了取值为1，否则取值为0。η ijk 可以取0或1，表示被试i 作答项目j 时的结果表现是否与被试在属性k 上的掌握情况一致。s k 表示被试i 掌握了项目j 需要的属性k 但在作答该项目时应用错误的概率；g k 表示被试i 未掌握项目j 需要的属性k 但却在作答该项目时正确应用的概率。

另外，不管α ik 的取值如何，只要项目j 未测量属性k，那么，式（6-17）恒成立：

被试在项目上的观察作答结果受到被试应用项目所测属性的概率的影响，表述如下：

二、模型的特性

从以上关于NIDA模型的定义可以知道，该模型的参数类型与DINA模型相近，只是NIDA模型将参数定义在属性水平上，而DINA模型的参数是定义在项目水平上的。

NIDA模型同样属于随机非补偿模型。被试答对或答错某个项目并非只由被试是否掌握题目属性决定，即被试掌握了题目所考察的所有属性并不能保证一定会答对该题，而未掌握题目所考察的所有属性不一定就会答错该题。同时，被试不能通过某个或某些属性的优势来弥补在某个或某些属性掌握水平上的不足，属性之间不存在补偿效应。

另外，与DINA模型一样，NIDA模型应该满足1-s k ＞g k 的条件，此条件称为项目反应函数单调性（monotonicity）条件。失误参数和猜测参数值均不能过大，如果s k 和g k 值过大，可能说明属性矩阵界定不准确，或者被试使用了其他的解题策略，或者模型不拟合数据资料等。

对于NIDA模型，有多少个属性就有多少个失误参数和猜测参数。相对DINA模型而言，NIDA模型要估计的参数个数更少。

第五节 G-DINA模型

认知诊断模型种类繁多，每个模型总会针对某种特定的情形提出，很难对每种模型进行精确的分类。面对种类繁多的模型，研究者在对各种模型进行比较时经常得出不同的结果，而实际应用中的选择就更加困难。为此，有研究者尝试放宽约束条件，使模型能够适应更一般化的测验情境。G-DINA模型（generalized deterministic inputs，noisy “and” gate，de la Torre，2011）就是一个非常好的尝试方向。它是在DINA模型的基础上，通过放宽部分假设条件而建构起来的。

一、DINA模型的局限

DINA模型认为所有拥有相同属性掌握模式的被试答对题目的概率也是相同的。对于某个具体题目而言，只要掌握了该题目测量的所有属性，那么这类被试答对该题的概率就是相同的，而只要其中一个属性未被掌握，那么这类被试就和其他任何属性也未掌握的被试一样不可能答对这道题目。然而，这个假设存在比较明显的不合理之处。DINA模型在判断被试的属性掌握模式时，用1表示掌握该属性，用0表示未掌握该属性。划分被试是否掌握某个属性的标准一般是由其作答反应的后验概率值决定的，如果正确概率大于0.5则为掌握（1），小于0.5则为未掌握（0）。但其实被认定掌握了某属性的被试群体中，不同个体对该属性的掌握程度很可能是不相同的，有的正确掌握的概率接近1，有的正确掌握的概率就在0.5附近，而那些被认定为未掌握某属性的被试群体中，也并不是所有被试都对该属性一无所知，也存在掌握程度不同的情形。G-DINA模型对未完全掌握题目测量的所有属性的被试群体进行了区分，不再假定所有这类被试答对的概率是相同的。

二、G-DINA模型的定义

用q jk 表示j 个题目k 个属性的Q 矩阵的元素，1表示第j 题测量了第k 个属性，0表示没有测量该属性。为了参数估计过程中计算的方便，G-DINA模型在划分被试属性掌握模式时进行了一些简化，它基于每道题目测量的属性将被试属性掌握模式划分为 种， 表示题目j测量的属性个数。相应地，被试的属性掌握模式向量 中的元素个数也缩减为 ，它其实表示被试在题目j 上的属性掌握状态。两个属性掌握模式向量之间当且仅当 时，认定为 。如果 ，这就也意味着式子 是成立的，也就是属性掌握模式为 的被试掌握的属性个数少于属性掌握模式为 的被试。属性掌握模式为 的被试正确作答项目j 的概率表示为 。

在定义项目反应函数时使用了三种线性连接函数形式：恒等函数形式、逻辑函数形式和对数函数形式。当然，用这三种函数形式定义的模型与数据之间的拟合结果是一致的。本书只介绍恒等形式的项目反应函数，在这个基础上很容易理解其他两种函数形式的意义。

用恒等函数形式定义的项目反应函数式如下：

式中，δ j0 是作答项目j 的截距，也就是被试没有掌握该项目的任何属性时的答对概率；δ jk 是α ljk 的主效应，也就是掌握该属性产生的作答效应大小，或者说掌握该属性可能给答对该项目带来的效应大小；δ jkk′ 是α ljk 和α ljk′ 的一阶交互效应，也就是掌握这两个属性可能产生的共同变化效应，是单独掌握两个属性带来的正确概率之外的效应； 是α lj1 ，α lj2 ，…， 的交互效应。

截距一般是非负值，主效应一般也是非负值，因为多掌握一个属性一般会带来更大的正确作答概率，除非该假设不成立，但交互效应可能是任何取值。

第六节 GDM模型

G-DINA模型在DINA模型的基础上放宽了假设条件，使之能够更好地拟合实际数据的情形，是模型拟合一般化资料的一个很好的结果。冯戴维提出了一个更加一般化的诊断模型框架（general diagnostic models，GDM）。

一、模型定义

记n 个被试在i 道题目上的观察作答反应数据为x n =（x n1 ，x n2 ，…，x ni ），每道题目上的得分为x ni ∈{0，1，2，…，m i }。

记被试水平离散潜变量a n =（a n1 ，a n2 ，…，a nk ），其取值形式为a nk ∈{s k （0），…，s k （l k ）}，s k （l ）是被试在第k 个属性上掌握水平的具体取值，该取值可以是0或1，也可以是-1或1，也可以是其他的取值范围。

记矩阵Q =（q ik ） i=1，2，…，i；k=1，2，…，K ，q ik 表示在作答项目i时，属性k 的作用及大小。如果正确作答项目i 需要掌握属性k ，那么，q ik ＞0，否则，q ik =0。另外，q ik ＞0情形下的取值可能有多种。

假设题目之间局部独立性成立，那么，被试作答反应模式的边际概率可以表示为：

其中，p （a =（a 1 ，…，a k ）|g ）表示在总体g 中a 的分布，p （x n1 ，x n2 ，…，x ni |a，g ）表示以总体g 中的a 为条件，观察反应模式（x n1 ，x n2 ，…，x ni ）的条件分布。这个式子蕴含着被试可以来自多个不同的总体，假设被试间局部独立性也成立，那么，被试作答反应模式的条件概率就可以表示为：

也就是说，被试作答反应模式的条件概率可以表示为被试在各个题目上的作答反应的条件概率（项目反应函数）之积。

在以上定义的基础上，一般诊断模型族（GDM）的项目反应函数定义为：

其中，x 为被试在项目上的作答反应得分，x ∈（1，2，…，m i ），β xig 为得分难度指标，γ xig =（γ xig1 ，…，γ xigK ）为K 维区分度指标，在式子中使用了转置的形式，g 仍然指的是不同总体。当然，如果假设被试总体是单一的，那么就不用考虑这个指标的影响了。

在这个模型中，h （q i ，a ）起着至关重要的作用。它的作用是定义项目属性向量和被试属性掌握状态之间的组合模式，并且根据其不同组合模式将GDM模型族具体化为具有不同特性的实例模型。如果h （q i ，a ）的定义模式如下：

GDM将具体化为一个离散的、多维项目反应理论模型。如果q ik 取值为0或1，那么，

从GDM模型定义可以知道，只有当q ik 不为0时，被试对属性k 的掌握水平才会对项目的作答结果产生影响。以上定义模式中，a k 的取值模式可以是任意的，但q ik 的取值只有0或1。

q ik 有时候会用于表示被试答对第i 题时需要掌握属性k 的水平层次。被试在属性k 上的掌握水平大于或等于该层次时可以答对，但低于该层次时就会答错。当q ik 的取值形式不为0和1时，上面关于h （q i ，a ）的定义形式就不合适了。这时，它的定义模式可以如下：

二、模型的特性

从以上介绍可以知道，GDM其实是定义了一个模型族或认知诊断模型框架。研究者可以通过重定义h （q i ，a ）的具体形式，以及被试属性掌握水平a k 与题目测量的属性水平q ik 的取值模式，从而获得适合当前数据情境的具体模型。

GDM模型族结合了IRT模型、对数线性模型（log-linear models）和潜类别模型（latent class models），除了能够进行一般的被试认知属性掌握模式分类之外，还能够处理多级记分作答数据和属性掌握水平多级化情形，同时又能够处理补偿和非补偿作答数据。

另外，模型提出者还基于EM算法，编制了该模型的参数估计程序——mdltm。

第七节 从统一模型到RRUM模型

由斯托特、鲁索斯等人提出的统一模型（unified model）在属性Q矩阵之外定义了一个解释剩余属性的变量，这样可以更完备地解释测验测量的认知结构。然而，该模型无法被识别，于是，哈兹（Hartz，2002）等人基于统一模型提出了一系列改进的认知诊断模型。

一、统一模型

统一模型认为，仅仅依据属性Q 矩阵并不能很完备地表达测验测量的认知结构。他们用A ={α Q ，α b }来代表测验测量的完备的认知属性空间，α Q 代表的是属性Q 矩阵定义的认知属性向量，α b 则代表的是Q 矩阵没有定义的那些测验测量了的认知维度。统一模型用一个单维能力参数θ j 来具体代表被试j 在α b 上表现出来的能力水平。统一模型的项目反应函数定义如下：

式子中，π ik =P （Y ijk =1|α jk =1），r ik =P （Y ijk =1|α jk =0），Y ijk =1表示被试j 在项目i 上正确地应用了属性k ，α jk =1表示被试j 掌握了属性k ，α jk =0则表示被试j 没有掌握属性k 。d i 是被试在所有解题策略中选择基于Q 矩阵定义的策略的概率。从该项目反应函数可以看出，项目正确作答概率不仅受到Q 矩阵定义的属性的影响，也受到Q 矩阵之外的属性的影响[体现为 ]，同时还可能受到被试选择了Q矩阵之外的不同解题策略的影响[体现为 ]。

统一模型是认知诊断模型中非常具有解释力的模型，然而，该模型的参数却无法在统计上进行识别，也就是无法获得稳定一致的参数估计值，于是也就无法应用于实践。

由于统一模型参数无法识别，所以需要对该模型的参数空间进行简化，同时又不能根本地改变该模型对数据的解释能力。

二、重参数化统一模型或融合模型

哈兹（Hartz，2002）将统一模型中的参数d i 设定为1，从而简化了模型的参数空间，保留了模型中的关键参数，如θ ，同时认为该模型仍然比许多其他认知诊断模型对数据具有更好的适应性。简化后的重参数化统一模型（reparameterized unified model，RUM）项目反应函数定义如下：

有研究者也将该模型叫作融合模型（fusion model，FM），模型中，

仍然指的是IRT中的Rasch模型，c i 越小， 也越小。

的取值范围为 ， 的取值范围为 ，而c i 的取值范围一般设定为0≤c i ≤3，当c i 接近3时，意味着Q 矩阵对该项目属性的定义比较完备，θ j 对正确作答项目i 几乎不会产生影响，因为这时候对于所有θ j 来说， 的值接近1；而当c i 接近0时，意味着Q 矩阵对该项目属性的定义很不完备，θ j 的不同取值将对正确作答项目i产生重要影响。

根据以上定义知道，参数组合为大的 值、小的 值、大的c i 值意味着被试作答该项目时需要且几乎只要Q矩阵定义的每一个属性。c i 值小意味着正确作答项目i 需要依靠Q 矩阵定义的属性之外的认知属性。 值大意味着是否掌握属性对正确作答项目没有什么影响，或者说， 越接近0，意味着属性k在项目i中的区分能力越大。 值小意味着在作答项目i时，即使被试掌握了所有这些属性，要正确应用项目所需要的属性也是很难的。

三、RUM模型的进一步简化：RRUM模型

RUM模型是否可以进一步得到简化呢？在某些特定情境下是可以的。如果测验测量的潜在结构经过维度检验之后认定是单维的，而且测验属性之间的相关也是非常高的，即所有测验属性属于某个单维结构，RUM模型就可以进一步简化，得到RRUM模型。哈兹（Hartz，2002）将测验属性结构单维性限制称为单维能力测量（unidimensional proficiency scaling），在此限制条件下的RUM模型称为单维能力测量RUM模型（unidimensional proficiency scaling RUM）。在测验属性单维性限制条件下，认为测验测量了单维结构，所有属性均源自同一个连续的单维潜在特质η 。单维性限制条件是针对整个测验和所有属性设置的，因此，η 和RUM模型中的θ 定义的内容也就属于相同意义的概念结构。在这种情形下，就无法从统计上将θ 从η 定义的属性中独立识别出来，θ 就成了一个多余的参数。这时可以将RUM模型中的c 设定为一个较大的值，如10，θ 参数就不会对项目反应函数产生影响。当然，研究者也可以直接将P ci （θ j ）项从模型中删去（Chiu & Kohn，2016）。这样就可以得到进一步简化后的RUM模型。

如果你不知道读什么书，

就关注这个微信公众号号。

微信公众号名称：幸福的味道

加小编QQ一起读书

QQ号：2338856113

【幸福的味道】已提供200个不同类型的书单

1、 历届茅盾文学奖获奖作品

2、 每年豆瓣，当当，亚马逊年度图书销售排行榜

3、 25岁前一定要读的25本书

4、 有生之年，你一定要看的25部外国纯文学名著

5、 有生之年，你一定要看的20部中国现当代名著

6、 美国亚马逊编辑推荐的一生必读书单100本

7、 30个领域30本不容错过的入门书

8、 这20本书，是各领域的巅峰之作

9、 这7本书，教你如何高效读书

10、 80万书虫力荐的“给五星都不够”的30本书

关注“幸福的味道”微信公众号，即可查看对应书单和得到电子书

更多书单，请关注微信公众号：一种思路

第八节 海明距离判别法：一种非参数认知诊断评价方法

基于参数化统计模型的认知诊断评价方法拥有严格的逻辑理论基础，使用具有明确定义的参数来描述问题空间，能够清晰地刻画出被试作答反应结果与被试潜在特质水平及项目特征之间的逻辑关系。同时，基于作答样本数据对总体参数特征的推论过程也有着严密的理论和技术基础。然而，在面对实际问题情境时，参数化统计模型也存在一些复杂甚至很难解决的问题。非参数认知诊断评价方法可以绕过参数化统计模型的一些严密假设或复杂技术问题，直接给出问题解决的结果。非参数认知诊断评价方法的主要优势有：①非参数认知诊断评价方法没有关于测验模型参数及其关系的假设，因此可以处理数据类型比较复杂、无法确定测验数据拟合的参数化诊断模型的情形；②非参数认知诊断评价方法的计算过程比较简单，不需要使用如参数化统计模型一样复杂的计算方法和技术；③非参数认知诊断评价方法更加容易被理解，因此也更加容易被领域外专家推广到实际应用情境中。

非参数认知诊断评价方法有很多，如基于聚类分析方法的认知诊断评价方法（Chiu，Douglas，& Li，2009；康春花，任平，曾平飞，2015）、广义距离判别法（generalized distance discrimination，GDD，孙佳楠，张淑梅，辛涛，等，2011）等。

认知诊断评价方法对于促进各级各类教学和辅导具有重要的意义，因此，让许多教育工作者能够正确理解并实际使用该方法才能显示出认知诊断评价理论的实践意义。我们正是以易理解性和易用性为出发点，提出了一种简单易用的非参数认知诊断评价方法——海明距离判别法（hamming distance discrimination，HDD，罗照盛，李喻骏，喻晓锋，等，2015），并通过初步比较研究发现该方法具有较好的判别力。

一、海明距离

海明距离（hamming distance），有时译成汉明距离。在信息论中，海明距离指两个等长字符串对应位置的不同字符的个数。例如，字符串A （1，0，1）与字符串B （0，1，0）的对应位置的不同字符个数为3，即A 与B 的海明距离为3。海明距离被用于海明码（hamming code）中，对编码进行检错和纠错。

二、定义测验反应模式间的海明距离

不考虑测验中被试的观察反应模式存在缺失的情况，在有J 道0、1计分项目的认知诊断测验中，我们将被试i 的观察反应模式Y i 与第t 种理想反应模式I t 之间的海明距离定义为：

其中， ，表示被试i 在项目j 上的观察反应结果Y ij 与第t 种理想反应模式中项目j的反应结果 之间的海明距离。HD（Y i ，I t ）则表示所有项目观察反应结果与理想反应结果之间的海明距离之和。我们将这种基于海明距离的分类方法命名为海明距离判别法（HDD）。

三、海明距离判别法在认知诊断分类中应用的合理性

第一，距离定义的合理性。本方法采用的是海明距离，能充分利用被试的真实作答信息对被试进行诊断分类，可以绕过除被试本身的失误和猜测之外的其他误差因素对诊断分类过程的影响。此外，海明距离的概念和计算过程简单易懂，其取值只有两种情形，即0或1。当被试i 在项目j 上的观察反应Y ij 与第t 种理想反应模式中项目j 上的反应结果 一致时， ，反之则为1。如果使用观察反应模式与理想反应模式对应位置的元素相减所得的差值作为距离，则该距离会出现三种可能的值，即0、1、-1，正负号表示该距离的方向，对其求和则会出现1和-1相互抵消的情况，导致信息的缺失和不准确。假如某被试的观察反应模式为0 0 1，它与理想反应模式为1 0 0及0 0 1的项目间的距离分别为1 0 1和0 0 0，在对上述两组距离求和后均得到0，也就无法对该被试进行准确的诊断分类。而若使用海明距离，则该观察反应模式与上述两种理想反应模式项目间的海明距离分别为1 0 1和0 0 0，求和后所得相应的海明距离分别为2和0，可实现对该被试的诊断分类。

第二，判别过程的合理性。由于观察反应模式与理想反应模式对应位置的元素间的海明距离均为非0即1的整数，很有可能会出现某个被试的观察反应模式与多个理想反应模式间的海明距离相同且均为最小值的情况，参考孙佳楠等人的判别规则，此时就无法按照海明距离最短准则对被试进行判别。因此，必须采取某种辅助判别方式对符合此种情况的被试进行处理。根据辅助判别方式的不同，本方法可分为R方法（随机方法）和B方法（Bayes方法）两种。R方法是指从多个最小距离对应的理想反应模式中随机（random）选取一种，再将其对应的理想掌握模式作为被试的属性掌握模式判别值。由于这些“特殊的”理想反应模式是在剔除了大部分与被试的观察反应模式相似度低的其他理想反应模式后挑选出来的，在没有其他任何可辅助判别的信息的情况下，我们有理由认为该被试的属性掌握模式恰好与这些“特殊的”理想反应模式中任意一种所对应的理想掌握模式的概率均等，故使用随机选取的方式对其进行处理是合理的。B方法参考了规则空间方法（RSM）中的判别方法，对存在多个最小距离的情况使用B方法，合理地利用当前测验情境所提供的信息来辅助对被试属性掌握模式进行判别分类，这样能够尽量地减少误判的情况，提高认知诊断结果的分类准确率。

四、应用海明距离判别法进行认知诊断分类

应用海明距离判别法进行认知诊断分类有两大步骤。

第一步，计算被试i的观察反应模式与每种理想反应模式之间的海明距离，并按距离最短原则对被试进行判别分类。

经过第一步，被试很可能会被分为两类：第一类被试能够找到与其观察反应模式的海明距离最小的理想反应模式，且该理想反应模式是唯一确定的；第二类被试虽然也能找到与其观察反应模式的海明距离最小的理想反应模式，但找出的理想反应模式并不是唯一的。其中，第一类被试通过第一步分析即可完成诊断分类，进而确定被试的属性掌握模式，而第二类被试则需要继续进行下面第二步的分析工作。第二步，运用R方法或B方法辅助进行判别分类，即采用R方法或B方法中的一种，以实现分类的目标。R方法简单易懂，不再赘述。下面重点介绍如何使用B方法对被试进行判别分类。

不难发现，第一类被试的判别分类结果实质上提供了关于此次测验情境中的各种理想反应模式的分布信息，能够较好地体现当前被试群体的能力分布特点，这些已有的信息将有助于对第二类被试的分类判别。例如，当被试i 的观察反应模式同时与理想反应模式I 1 和I 2 的海明距离最小时，若第一类被试中I 2 的判别人数更多，则有理由认为被试的属性掌握模式是I 2 所对应的理想掌握模式的概率更大。故利用第一类被试的判别结果计算每种理想反应模式的后验概率，计算方法如下：

其中，N 为当前被试群体的总人数，n 为在这N 个被试中属性掌握模式为第t 种理想反应模式对应的理想掌握模式的被试人数。考虑到实际测验情境，被试样本的能力分布的不规则性，使得当前被试群体中属性掌握模式为第t 种理想反应模式对应的理想掌握模式的被试人数可能为0，即P t =0，对于此种情形，可以分为下面两种情况并进行相应的处理。

①与被试i 的观察反应模式的海明距离相同且均为最小值的多个理想反应模式中，部分理想反应模式的P t =0，此时仍可使用B方法。

②与被试i 的观察反应模式的海明距离相同且均为最小值的多个理想反应模式的P t 均为0，则使用R方法对被试进行判别分类。

有研究者（DiBello，Stout，2007）认为，模型的参数应该足够复杂，以便提供尽可能多的诊断信息，但是在拟合数据的情况下，模型的参数也应该足够简单，以满足实践者的需求。因此，当两种认知诊断评价方法具有同等水平的分类准确性时，更加简单易用的认知诊断评价方法显然更佳，DINA模型就是其中的典型代表。与现有的认知诊断评价方法相比，这里所介绍的HDD方法在具有较高的分类准确率的同时，并没有引入额外的参数，具有零参数的特点，不需要进行参数估计。因此，可以避免由模型参数拟合及估计方法的误差而导致分类准确率下降的不良后果。与此同时，不需要理解模型参数特点及进行参数估计也使HDD方法的具体使用步骤非常简单。理论上，只要获取被试的实际作答反应数据，进行简单的加减运算即可对被试进行诊断分类。运用HDD方法还可以大大降低中小学一线教师理解和实施认知诊断评价的难度，有助于认知诊断测验的推广和应用。但零参数的特点有利也有弊，弊在于HDD方法无法同其他认知诊断方法一样获得项目参数，也就无法实现对项目性能的量化描述。因此，在1、0计分的认知诊断测验中，当需要获取项目参数时，可考虑使用其他认知诊断方法。另外，该方法的应用有效性还需要在更多的实测数据支持下进行进一步的验证。

HDD方法中的B方法的分类准确率相对于R方法而言更高，但B方法对于样本容量较为敏感。当后验概率不准确时，B方法的分类准确率必然会受到影响，R方法便适用于此种情况。故建议在实施认知诊断评价时，当被试量较小时，可以使用R方法；当被试量较大时，则改用B方法可以得到更好的分类效果。

本章小结

在有了测验属性定义和测试样本数据后，通过合适的统计分析方法，就可以推断被试对测验属性的掌握状态，从而做出诊断性评价。统计分析方法可以描述和揭示被试特质水平、题目特性、题目属性与作答结果之间的逻辑关系。对这几者逻辑关系认识不同，就会产生不同的统计分析方法。即使对其逻辑关系认识相近，也可能会产生不同的实现路径。对分析方法本身复杂度的认识同样也会影响方法的建构模式。

实现认知诊断评价的方法或模型非常多，超过100个，每个方法或模型都有它的优势和不足。为此，我们提出选择某种合适的方法或模型的一些建议。首先，既简单又有效是模型或方法选择的最佳标准。有效是评价的目标，简单包括参数和实现过程的简化。许多方法或模型宣称具有更好的拟合度或精确性，如果根据其分析结果，这种改进只是在已经非常好的结果的基础上进行的微小改进，那么这类新模型的价值就不大，除非其显得更加简单。其次，适应性更强的模型是更好的选择。有些模型具有更好的拓广性，适用于更多的数据情境，甚至可以将许多模型作为其特例，那么这类模型就具有更强的应用价值。

参数化分析方法、半参数化分析方法和完全非参数化分析方法能够从不同的路径实现认知诊断评价的目标，并且有各自的优势和不足。

思考题

1.在认知诊断评价工作中，如何选择一个合理的认知诊断模型？

2.分析各类认知诊断模型在应用中的优势和劣势。

第七章 参数估计

摘要：参数估计（parameter estimation）是实现认知诊断评价必需的过程，它根据从总体中抽取的样本来估计总体分布中包含的未知参数。在认知诊断评价理论中，有非常多的方法或模型来描述被试、题目和属性之间的关系，各种方法或模型都需要一个合理的参数估计方法来获得关于被试、题目和属性的实际参数估计值。本章介绍了参数估计的一些基础概念、主要的参数估计方法，并给每种估计方法提供了具体的参考实例。

参数估计基于实际测试数据，估计数学模型中定义的未知参数值。参数估计方法和技术主要是保证未知参数能够被精确地识别。本章将介绍参数估计的一些基本概念、主要的参数估计方法。

第一节 几个基础概念

一、极大似然估计

关于极大似然估计，我们可以先看一个例子：

某位同学与一位猎人一起外出打猎时，一只野兔从前方窜过。只听一声枪响，野兔应声倒下，如果让你推测，这一发命中的子弹是谁打的，你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人打的。

在上述例子中，关于结果所做的推断（执果寻因）就体现了极大似然估计的基本思想。

我们以DINA模型为例，通过估计其项目参数来讲解极大似然估计的原理和过程。

若我们已获得所有被试在测验第i 题上的作答得分向量（x 1 ，x 2 ，x 3 ，…，x n ），以及所有被试的属性掌握模式α j （j =1，2，…，n ），该题的属性向量为q i 。我们的目标是估计未知的项目参数β iη 。

所有被试在该测验题目上的得分数据表现为{X 1 =x 1 ，X 2 =x 2 ，X 3 =x 3 ，…，X n =x n }这一结果模式的概率，就应该为 ，也就是所有被试在该题上获得相应分数的概率的乘积，这一概率当然会随β iη 取值的变化而变化。从直观上来解释，既然被试在该题目上的得分数据模式为x 1 ，x 2 ，x 3 ，…，x n ，而不是其他的得分模式，就可以理解为：对于这个题目，被试的这种得分模式出现的概率相对其他得分模式来说更大；也就是说，对于参数为β iη 的项目，当前这种得分模式能使 取比较大的值。换句话说，β iη 的合理估计值应该能使x 1 ，x 2 ，x 3 ，…，x n 这种得分模式的出现具有最大的概率。如果将这个概率的乘积看作β iη 的函数，并用L （β iη ）表示，就有：

我们称L （β iη ）为似然函数（likelihood function）。那么，极大似然估计方法就是在参数β iη 的可能取值范围内，找到能使L （β iη ）达到最大值的估计值 ，以作为项目参数β iη 的合理估计值，即取β iη ，使

因此，求项目参数β iη 的估计值的问题，就变成了求似然函数L （β iη ）的最大值的问题。而求函数极大值的问题，只要导函数存在，一般就会转化为求函数对未知参数的一阶导并令其为0的方程根的问题。所以，求上面这个似然函数极值的问题可通过解下面这个方程：

来解决。解这个方程得到的β iη 值，就是项目参数的合理估计值。

似然函数式（7-2）为概率的连乘积，如果对该似然函数式取对数，则可以转换为概率连加和的形式，这将大大简化计算过程。而且，因为lnL 是L 的增函数，所以，lnL 与L 会在相同位置取得最大值。我们称l （β iη ）=lnL （β iη ）为对数似然函数（log-likelihood function）。因此，我们常将方程（7-3）写成：

方程（7-4）称为对数似然方程。解方程（7-4）或（7-3）得到的值，就是项目参数的极大似然估计值。

总结求极大似然估计值的一般步骤如下：

①导出样本结果的联合概率函数（或联合密度）；

②把样本联合概率函数（或联合密度）中因变量看作已知常数，而把未知参数看作自变量，得到似然函数；

③求似然函数的极大值点（常转化为求对数似然函数的极大值点）；

④在极大值点的表达式中，将样本值代入就得到参数的极大似然估计值。

二、牛顿-拉夫逊迭代

解似然方程的过程经常会用到迭代算法。运用最多的迭代算法就是牛顿-拉夫逊迭代方法。牛顿-拉夫逊迭代方法是在解牛顿迭代式基础上进行的。设r 是f （x ）=0的真实根，但这个根有时候很难或无法通过直接解方程的方法求出来，于是我们会采用迭代算法，以得到r 的一个近似估计值。迭代的过程如下：首先，选取x 0 作为r 的初始近似值；然后，过点[x 0 ，f （x 0 ）]做曲线y =f （x ）的切线L ，可以知道L的方程为y =f （x 0 ）+f′ （x 0 ）（x -x 0 ），于是，可以求出切线L 与轴交点的横坐标x 1 =x 0 -f （x 0 ）/f′ （x 0 ），称x 1 为r 的一次迭代近似值。接着，过点[x 1 ，f （x 1 ）]再次做曲线y =f （x ）的切线，并求该切线与x轴交点的横坐标x 2 =x 1 -f （x 1 ）/f′ （x 1 ），称x 2 为r 的二次迭代近似值。重复以上过程，就可以得到r的一个近似值序列（x 1 ，x 2 ，…，x n ，x n +1 ），其中，

称为r 的第n +1次迭代近似值，式（7-5）亦称为牛顿迭代式，而式（7-6），

也就成为迭代过程中估计值的校正公式。当然，迭代过程不可能无休止地进行下去，必须设定一个中止规则。常用的中止规则就是，当相邻的两个迭代近似值之间的差异小于某个足够小的预先设定值，如0.01时，中止迭代过程，也就是迭代校正公式中ε ＜0.01，以最新的迭代近似值作为方程f （x ）=0的根r 的一个近似估计值。我们可以将以上迭代算法的过程通过几何图形的形式加以直观解释，如图7-1所示。

图7-1 牛顿迭代过程图

求函数极值问题经常会转化为求函数的一阶导问题。类似地，在求使似然函数值达到极值时对应的参数值时，也经常把该问题转换为求似然函数对该未知参数的一阶导并令函数值为0时对应的方程的根，而求这个根的过程就经常使用牛顿迭代算法。当然，如果可以直接解出一阶导方程的根，那就不需要经历迭代过程。

三、贝叶斯估计、先验分布、后验分布

学习贝叶斯估计首先需要了解先验分布和后验分布的概念。

贝叶斯估计是基于贝叶斯统计思想的估计方法。先验分布是贝叶斯统计的基础概念。贝叶斯统计理论认为，关于总体参数的任何统计推断，除了使用试验样本所提供的信息之外，还必须规定一个关于该参数的先验分布，它是在进行总体参数统计推断时不可或缺的信息。先验分布是在获得试验样本数据信息之前就已经掌握了的关于对总体参数分布的认识。

所谓参数的后验分布，是根据试验样本数据信息和未知参数的先验分布信息，用概率论中的贝叶斯定理求条件概率分布，求出在已有试验样本数据信息的情况下，关于未知参数的条件分布。由于关于未知参数的条件分布是在已经获得试验样本数据信息之后才求得的，因此称为未知参数的后验分布。贝叶斯统计推断的基础就是，关于未知参数的任何统计推断都必须且只能根据该参数的后验分布进行，而不能只涉及其样本信息。贝叶斯统计模型如下：

式（7-7）中，P （A ）表示未知事件A 的先验分布信息，P （B ）表示试验样本B 的分布信息，P （B|A ）表示在事件A 发生的条件下，试验样本B 的发生概率。P （A|B ）表示在获得了试验样本数据信息的条件下，可以对与该结果相关联的未知事件A发生的概率重新进行调整估计。

贝叶斯统计模型综合了先验分布信息和通过试验获得的实际样本数据信息，从而获得后验分布信息，并以后验概率P （A|B ）的形式体现出来。因此，贝叶斯统计模型反映了在获得了实际试验数据信息的条件下，先验分布向后验分布的转化过程。试验样本信息在这里的唯一作用就是把对未知参数的认识由仅有的先验分布向后验分布转化。

根据以上介绍可以了解到，关于参数的认识，传统统计推断理论是基于大样本理论的，认为要估计的参数是一个未知但却是确定的唯一值，并不具有随机性，估计的任务就是把这个值找出来。而基于贝叶斯理论的估计方法把要估计的未知参数看作一个随机变量，这个变量可能取各种不同的值，同时，这个随机变量有一个伴随的已知的先验分布信息，也就是关于该随机变量取各种值的概率信息。贝叶斯统计推断方法关于参数的估计完全是基于后验分布的，而后验分布中的关键因素就是试验样本数据信息和参数的先验分布信息。在实际进行参数估计时，未知参数的试验样本信息一般是已经准备好的，是确定已知的，而对未知参数的先验分布信息的选择就需要深入思考，谨慎对待。只有关于未知参数的正确的先验分布信息，才能保证构造出正确的后验分布，而正确的后验分布才能保证得出正确的参数估计结果。比如，关于被试能力水平参数的先验分布一般认为是正态分布，如果在构造后验分布时选择偏态分布，那么可能会导致贝叶斯方法做出错误的统计推断。

贝叶斯估计相对于经典学派的估计方法有什么优势呢？经典统计学派认为概率是事件在大量独立重复试验基础上所发生的频率的稳定值。贝叶斯学派当然也承认这一观点，但他们更加强调主体主观认知的作用。因此，在拥有大规模试验样本数据的情况下，传统统计估计方法的结果可以得到比较好的保障。然而，在实践当中，我们经常无法保证进行大规模的重复试验能获得大规模的试验样本数据，经常的情况是我们只能拥有小样本观察数据。在小样本的情况下，传统统计估计方法就无法保障得到的结果是准确的，因此需要探索一种更加稳定的估计方法。结合人们过去对未知参数的经验，根据人们过去积累的认识给出关于未知参数的较稳定合理的解释，是一种比较好的做法。其实，在日常判断决策中，人们也经常是在面对当前情形时，还会根据以往的经验认识做出决定。

总之，贝叶斯估计是根据某个随机变量的样本观测信息，并结合其先验信息，通过后验分布估计其可能取值的过程。

第二节 项目参数的条件估计

所谓参数的条件估计，就是在某些参数已经确定的条件下，估计模型中的未知参数。在认知诊断评价理论模型中，参数的条件估计有两种情形：一种是在被试属性掌握模式等参数已经确定的条件下，估计模型中的项目参数；另一种情形就是，在项目参数已经确定的条件下，估计被试属性掌握模式等参数。

项目参数的条件估计方法主要有两种：一种就是基于已经确定的被试参数条件，利用样本作答反应数据，直接求取基于项目反应函数的似然函数极大值点对应的项目参数，称为经典条件估计；另一种是基于边际分布的极大似然估计方法，称为边际极大似然估计（marginal maximum likelihood estimation，MMLE）。本节只介绍边际极大似然估计及其EM算法。

一、边际分布

边际极大似然估计仍然是在极大似然估计方法的架构之下估计项目参数，但是在提供被试参数作为已知信息时，结合了贝叶斯统计思想。边际极大似然估计是以边际分布（marginal distribution）为基础的。因此，我们首先需要明白边际分布的概念。首先看一下表7-1。

表7-1 边际分布示意表

表7-1包含了两个离散型变量：变量ξ 和变量η 。p ij 为两个变量的联合分布列，而联合分布列的右侧一列，即p i· 是由第i 行p ij 对j 相加得到，它表示变量ξ 的分布列，相应地，在联合分布列的低端一行，即p ·j 是由第j 列p ij 对i 相加得到，它表示变量η 的分布列。通过这种表示方式，变量ξ 和η 各自的分布列就在联合分布列（ξ，η ）的边上，因而，人们就形象地称变量ξ 和η 各自的分布列是联合分布列（ξ，η ）的边际分布。

由以上可以知道，如果已经知道二维变量的联合分布列，那么，单个分量的边际分布列也就可以根据联合分布列得到。当然，已知所有单个变量的分布列，却并不能唯一确定两个变量的联合分布列，这一点，从表7-1中也是容易直观地看出来的。

现在回到项目参数的估计问题上来。假设已获得n 个被试在m 个项目上的测验作答得分矩阵U ，共包括r 种不同的被试作答反应模式（response pattern，由于有些作答反应模式可能重复出现，因此r 不一定等于n ），记第1种作答反应模式为u l （l=1，2，…，r ）。那么，对于属性掌握模式为α v （v =1，2，…，2 K ；K 为测验属性个数）的被试，其得到作答反应模式为u l （作答反应模式个数不一定等于属性掌握模式个数，因为有些属性掌握模式对应的作答反应模式可能没有实际出现）的概率为：

如果借鉴贝叶斯统计思想，把得到作答反应模式u l 的被试属性掌握模式α v 看作来自一个已知分布的随机变量，而不是某个固定的常数。这时，由于随机变量可以取各种不同的值，当然，根据该随机变量的已知分布，各种取值的概率是不一样的（均匀分布除外），而且各种取值对于得到某个具体的作答模式u l 的概率也是不一样的。假设该已知分布的密度函数为g （α v ），这也就是属性掌握模式α v 的先验分布，于是，就可以得到来自随机变量的某个属性掌握模式α v 在作答反应模式u l 上的概率函数为：

进一步地，可以得到关于某作答反应模式u l 的边际概率函数（unconditional or marginal probability）如下：

然而，由于属性掌握模式α v 的概率分布是离散的，因此，根据α v 的先验分布g （α v ）对所有可能的属性掌握模式的条件似然函数进行加权累加，这相当于基于单维连续变量的条件似然函数的积分过程。于是式（7-10）重写为：

其实，即使是连续变量的积分，在计算机实现的过程中，也总是会转换为加权累加的形式。比如，对项目反应理论中的连续变量——被试能力水平进行积分时，在计算机实际实现过程中，无穷积分一般就会采用基于有限积点（quadrature points）和相应积点系数（coefficients）或权重（weight）的高斯-厄米特（Gauss-Hermite）数值积分算法进行近似估计。对于正态密度函数，经验上一般会在某个合理范围内，采集40个积点，包括20个正积点、20个负积点，对积分进行近似计算。于是，式（7-10）总是可以转换成如式（7-12）所示的用高斯-厄米特数值积分算法进行的近似估计：

其中，X k 为在连续变量上选择的代表性积点，在此例中代替具体的θ 取值，q 为积点个数，A （X k ）为积点对应的系数或权重，且有：

其实，从几何解释的角度，定积分就是求概率函数曲线在某个区间内与横轴所围成的区域面积，如图7-2所示。

图7-2 函数的定积分解析图

对于连续型随机变量来说，其概率函数曲线也是连续的，这时，概率函数曲线在某个区间内与横轴所围成的区域面积的求取，就可以通过以下方式得到：首先，把这个区间分成有限个更小的区间；然后，求取这些小区间的面积，并累加后得到整个面积的值。如果这些小区间的间距足够小，那么，这个区间横轴的中值就可以作为该区间的代表值（积点），这个区间的面积就可以作为这个代表值的权重（积点系数）。这个区间的面积经常可以通过查相关变量的函数分布表来得到，从而用这些积点和积点系数代替积分过程进行运算。

二、边际极大似然估计及其EM算法

有了以上这些认识基础之后，我们就可以开始对边际极大似然估计进行具体的介绍。接下来的内容将分成两个部分：首先，介绍边际极大似然估计及其EM算法的提出；其次，结合认知诊断评价理论中的DINA模型，解释边际极大似然估计及其EM算法在DINA模型项目参数估计中的应用。

按照被试参数作为已知条件的呈现模式，可以把估计项目参数的方法分为两种：①把被试看作来自某个已知分布总体的代表性随机样本，于是可以通过基于对该已知分布进行积分的方式来估计项目参数；②把被试看作一个未知分布的随意（arbitrary，注意不是随机）样本，按照联合极大似然估计的方式同时估计被试参数和项目参数。在这两种方法中，第二种方法在实际应用中可能存在很大问题。在参数估计中，项目参数被认为是结构参数（structural parameter），根据某个测试规划命制好的测验一般不会随意改动，其结构和参数是相对固定的，可以当作稳定参照的工具，测验的项目数量一般也是固定的且规模较小。而被试参数被认为是讨厌参数（nuisance parameter），如果被试是一个随意样本，那么，每增加一个被试就会增加一个随意参数，导致项目参数无法获得稳定的一致性估计，这就违反了项目反应理论参数不变性的特性。基于第一种方法的极大似然估计，称为边际极大似然估计，它能够保证关于项目参数的一致性估计，因此成为现在参数估计中应用较广的方法之一。

要实现参数的边际极大似然估计，首先需要构建基于边际分布的似然函数。

鲍克和列波曼首次使用基于边际分布的极大似然估计方法，来估计双参数正态肩型模型（normal ogive model）的项目参数。在对被试作答数据进行分析时，主要关注被试在所有题目上的整体作答反应模式（response pattern），以及在各种作答反应模式上的被试分布状态，或者叫作答模式分布，认为相同作答模式的被试的能力水平也是相同的，不同的作答模式的被试的能力水平也是不同的，被试能力与作答模式之间理论上应该是对应关系。从样本的角度看，这种方法关注在每种作答模式上有多少个被试，以及整个被试作答模式的分布状态。当然，作为具体计算时的项目反应模型仍然是基于单个项目的。作为二值记分题目类型，每个题目的作答结果只有两种可能：对（得1分）和错（得0分）。这样，被试在M个题目上的所有作答模式一共就有2 M 种可能。但是，对于某批被试在某次具体测验上的作答结果来说，最终的样本得分矩阵可能出现以下情形：有些作答模式根本没有出现，而有些作答模式则出现许多次。在建构基于作答模式的似然函数时，应该要注意这种情形的存在。

在测验作答得分矩阵U 的基础上，可以获得被试作答模式样本分布状态。假设某种作答模式的观察次数为r l （l =1，2，…，r ），相应地，该作答模式的实际样本观察比例为P （u l ）=r l /N 。就像前面在分析某个作答反应模式u l 的被试时，将α v 看作一个已知分布的随机变量一样，现在从另外一个角度来分析整个测验的作答得分模式。假设把全部N 个作答被试看作他们所代表总体的一个随机样本，那么，期望落于某种具体作答模式的被试比例就应该是P （u l ）=E [p （u l ）]，即观察比例的期望，这个期望比例其实来自前面已经讲到的关于作答模式u l 的边际分布，即式（7-10）。实际作答样本中相应模式的期望作答被试次数就应该是：

在以上分析的基础上，可以对当前得分矩阵建立如下式子：

这个式子表示的就是基于边际分布的联合似然函数。式（7-10）中，被试参数信息已经通过其已知概率分布函数加权累加的形式作为已知条件给出，因此，这个式子中的未知参数就只有项目参数了。

建立了如式（7-15）所示的似然函数后，接下来的工作就是找到能够使似然函数值达到极大值点所对应的项目参数估计值。这个问题的解决同样可以转化为求解似然函数对未知参数的一阶导并令其为0的方程根问题，而这个问题又同样可以通过牛顿-拉夫逊迭代的方法加以解决，当参数的迭代校正值小于某个预先设定的估计误差时，得到的参数估计值就是能够使似然函数值达到最大的项目参数的最终估计值。具体的解决过程可以阅读我们在下面即将要介绍的鲍克和阿特金基于该方法的参数估计改进实现方案。

鲍克和列波曼首次使用基于边际分布的极大似然估计方法，来估计双参数正态肩型模型的项目参数。他们假设样本被试来自服从正态分布的总体，不过，他们在应用中只分析了5个项目。鲍克和列波曼指出，参数的边际极大似然估计方法本身虽然有很大的优势，但他们所提出的参数的极大似然估计实现方案，却很难在实际项目分析工作中得到广泛的应用。按照他们所提供的参数估计解决方案，在每次测验分析中，题目数量不能超过10道或12道，因为在鲍克和列波曼的项目参数估计迭代方案中，需要构建一个3M ×3M （M 为测验题目量）的信息矩阵（二阶导矩阵），并对它求逆，而矩阵中的每个元素又包含2 M （所有可能的作答模式数）次累加和计算过程。因此，题目量过多将造成矩阵过大、矩阵运算困难的问题。但是，最多12道题的题目量在心理与教育的实际测验中是很少见的。所以他们认为提出边际极大似然估计方法，主要是为了进行理论研究探索，以及在同等条件下与其他方法进行比较。不过后来，对该方法进行了改进，使其能够灵活地适应于各种实际数据分析情境。

鲍克和阿特金对鲍克和列波曼方法的改进主要体现在三个方面。首先，假设被试之间、题目之间以及被试与题目之间均服从局部和相互独立原则，这样就解决了参数估计中矩阵过大的问题，因为在局部独立原则成立条件下，可以逐个项目地进行参数估计，而每个项目的参数估计过程涉及的矩阵运算即使在IRT三参数模型下也只有3×3个元素。这样，这种方法就可以运用于大批量项目分析的情形了。

鲍克和阿特金方案的第二个改进，主要就是基于他们关于被试、题目之间独立性的假设基础上，针对似然函数式子本身的具体处理技术。鲍克和列波曼所建立的似然函数关于项目参数的一阶导函数及其方程式子形式统一如下式所示：

式子对积分项用高斯-厄米特数值积分进行了近似处理。式子中，ξ i 代表项目参数，可以用项目反应模型中涉及的不同项目参数分别代替；Φ i （x k ）为项目反应函数，在这里专门指的是IRT正态肩型曲线函数；z i （x k ）=a i （x k -b i ）为正态肩型曲线函数式中的一项（这一项中的a i 、b i 分别表示IRT模型项目区分度参数和难度参数），x k 为选择的数值积分积点，A （x k ）为相应的积点系数或积点权重，式子中，

L l （x k ）为当能力取值为x k 时，作答模式l 的联合概率。

鲍克和阿特金在对以上式子进行处理时，首先假设所有的被试根据作答反应模式被合理地分成了若干组，各组内被试完全同质，各组之间相互独立，且各组的能力水平记为x k 。在这个假设基础上，不同项目的难度和区分度参数就可以分开来独立估计。于是，进一步可以得到对数似然函数关于项目难度参数和区分度参数的一阶导函数式子，令其等于0所得方程分别如下所示：

参数的信息矩阵为：

其中，

对比式（7-18）、式（7-19）与式（7-16），同时把式（7-16）的A （x k ）项乘入式子的分子项，于是便得到以下两个相互对应的式子：

x k 表示相互独立的各组被试的能力水平；x li 为在项目上的具体得分0或1；鲍克和阿特金经过分析发现，式（7-22）中的 其实表示在已有x li 和Φ i （x k ）的情形下，处于第k组水平的所有被试，答对项目i的期望人数（expected frequency），所有不同水平组的 相加，将等于答对项目i 的实际总人数；而式（7-23）的 则表示在已知Φ i （x k ）的情形下，处于第k 组水平的期望被试人数（expected sample size），所有不同水平组被试的 相加，将等于实际样本总人数N 。

鲍克和阿特金方案的第三个方面的改进，是在以上式子的基础上，提出了具体实现项目参数估计的一个新的算法，即EM算法。依据这个算法，每个项目参数一次小循环的估计过程包括了以下两个步骤。

E步：利用当前的项目参数估计值，计算式（7-17）的L l （x k ），k =1，2，3，…，q ，然后，计算所有作答模式的 ，l =1，2，…，r ，再计算 和 。

M步：也就是似然函数极大化过程。利用E步算出的值，根据上面提供的一阶导式子和信息矩阵，用牛顿-拉夫逊迭代算法，估计项目参数。当然，如果一阶导方程可以直接解出未知参数的值，那就不需要经历麻烦的迭代步骤。

当然，在每个EM步外面还有一个大循环过程，就是要使两次相邻迭代的所有项目参数所计算的似然函数值之间差异足够小。

从上面可以看出，鲍克和阿特金关于项目参数估计的EM算法，是在两个不同假设条件下的一阶导式子之间的对应关系基础上提出来的。另外，在处理指数概率模型族的参数的极大似然估计过程中，当参数的估计出现缺失信息时，有人提出了不完整数据处理的EM算法。鲍克和阿特金基于这个缺失数据处理原理的角度，也提出了与我们上面讲到的相同的EM参数估计步骤。

在认知诊断评价理论中，被试在测验项目上的作答被分成不同的作答反应模式，每种作答反应模式对应一种属性掌握模式，所有相同作答反应模式的被试的属性掌握模式也是相同的。同时假定被试之间的作答是局部独立的，项目之间的作答也是局部独立的。

三、边际极大似然估计示例

接下来，结合认知诊断评价理论中的DINA模型，并依据了德拉托尔（de la Torre，2009）的推导结果，解释边际极大似然估计及其EM算法在DINA模型项目参数估计中的应用。

DINA模型是一个比较节俭的模型，模型中的被试参数为属性掌握模式，项目参数包括猜测参数和失误参数。

首先，将DINA模型的项目反应函数重新表示为：

然后，建立作答矩阵的边际似然函数：

式子中，L （u j ）为被试j 作答反应模式的边际似然函数，g （α v ）为属性掌握模式α v 的先验分布。由于α v 是离散变量，因此边际概率积分运算变为累加运算。将上式转化为对数似然函数形式：

接下来就是，找到使对数似然函数达到极大值点的项目参数估计值β iη 。于是求对数似然函数对未知项目参数的一阶导函数：

式子中，p （α v |u j ）为被试拥有属性掌握模式α v 的后验概率， 为属性掌握模式为α v 的期望被试人数，而 为属性掌握模式为α v 的被试中，答对项目i 的期望人数。

对于DINA模型来说，虽然每个被试的属性掌握模式可能不同，但在某个具体项目上，所有被试的属性掌握模式可以分为两种：掌握了项目要求的所有属性（记为η =1）；未掌握项目要求的所有属性（记为η =0）。相应地，项目反应函数的取值情形也只有两种：当被试掌握了项目要求的所有属性时，P i （α v ）=1-s i ；当被试未掌握项目要求的所有属性时，P i （α v ）=g i 。因此，式（7-27）可以进一步表示为：

式子中， 是未掌握项目i 要求的所有属性的期望被试人数， 是未掌握项目i 要求的所有属性的被试中答对该项目的期望人数； 是掌握了项目i 要求的所有属性的期望被试人数， 是掌握了项目i 要求的所有属性的被试中答对该项目的期望人数。

当式（7-28）一阶导函数中是对项目参数g 求导时，式子右边第二项就等于0。于是，求极大化似然函数logL （U ）的项目参数g i 值，就是计算出让如下一阶导方程式子成立的g i 估计值：

经化简移项后，可得：

同样地，当式（7-28）一阶导函数中是对项目参数s 求导时，式子右边第一项就等于0。于是，求极大化似然函数logL （U ）的项目参数s i 值，就是计算出让如下一阶导方程式子成立的s i 估计值。

经化简移项后，可得：

基于EM算法估计项目参数的具体步骤为：第一步，获取项目参数初始估计值；第二步，以项目参数当前估计值计算边际似然函数值；第三步，以项目参数当前估计值，分别计算 、 和 、 ，并根据以上相关计算式子更新项目参数估计值；第四步，重复第二步和第三步，直至相邻两次参数估计值计算的边际似然函数值非常接近，达到预先设定的收敛标准为止。

边际极大似然估计的关键是根据作答反应模式构建边际似然函数。而EM算法的关键是构建两个人工参数R和N。

第三节 被试参数的条件估计

认知诊断评价理论的优势就是能够给每个被试提供关于其知识发展状态详细的剖析信息。现在被认为具有认知诊断功能的模型非常多，而且参数表现形式也是多样的，关于具有认知诊断功能的多维IRT模型的参数估计问题，本书将不涉及。认知诊断模型的典型被试参数一般是关于被试在每个知识属性上的掌握状态，即属性掌握模式。属性掌握模式是离散的，取值是有限的。被试属性掌握模式的估计过程，就是在这些有限的取值范围内找到最合适的取值。

在本节内容中，题目得分只有两种可能，即答对记1分，答错记0分。记被试的属性掌握模式为α j =（α j1 ，α j2 ，…，α jK ），K 为测验属性个数，测验测量的被试可能属性掌握模式共有2 K 种（假设每个属性的掌握状态只有两种，即掌握为1，和未掌握为0）。假设测验属性关联矩阵Q矩阵已经定义。

为了方便下面介绍的3种属性掌握模式估计方法，我们仍以DINA模型为例。同时，假设某个测验共考察了3个属性，包含6个测验项目，测验所对应的Q矩阵和具体的项目参数如表7-2所示。假设某被试在测验中的得分向量为[1 1 0 1 0 1] T 。

表7-2 测验Q矩阵及项目参数

一、经典条件估计

第一种被试参数估计方法，其实就是在项目参数已经确定的条件下，求被试项目反应概率的联合似然函数极大值点对应的被试参数。因此，参数估计的第一步是构建联合似然函数，由于项目参数已经确定，这时构建如下的似然函数中仅含有被试参数这一类未知参数：

式子中，u j 为被试j 在所有项目上的作答反应模式，P i （α j ）为项目反应函数，x ij 为被试j 在项目i 上的得分，ξ 为已知的项目参数。

然后，就是寻找能够使该似然函数达到极大值点的被试参数值。对于取有限离散值的变量，最直接的办法就是穷尽有限的所有属性掌握模式，找到一种能够使该似然函数达到极大值点的模式。

根据DINA模型项目反应函数，下面具体说明用极大似然估计方法估计前面所提到被试的属性掌握模式的过程，如表7-3所示。

表7-3 极大似然估计

从表7-3中可以很容易看出，当被试属性掌握模式估计值为模式5时，对应的似然函数值最大。所以，根据被试的作答反应向量，该被试的属性掌握模式的极大似然估计值为[1 1 0] T 。

二、极大后验估计

第二种被试参数估计方法是用极大后验估计（maximum a posteriori，MAP）方法来估计被试参数。在统计学中，极大后验估计是在试验样本数据已知的情形下，获得对未知参数的点估计。它与基于经典统计理论的极大似然估计方法非常相似，只是极大后验估计这种方法在构建似然函数时，要将未知参数的先验分布融合到似然函数式中。所以，极大后验估计可以看作经过规则化（regularization）之后的极大似然估计。

现在的情形是已经有了试验样本数据，且项目参数已知，需要估计未知的被试参数。按照经典统计理论构建的、关于被试在所有项目上作答模式的似然函数如式（7-34）所示：

式子中，M 为题目量，x ij 表示被试在项目上的作答反应结果，取值为0或1，u j 为被试j 在所有项目上的作答反应模式，ξ 为已确定的项目参数。假如被试参数的先验分布概率函数定义为g （α v ），那么，极大后验估计的似然函数构建如式（7-35）所示：

μ 的下标j 的值代表的是具体的样本被试，α 的下标v 的值则代表的是一种属性掌握模式，每个被试必定会属于一种属性掌握模式，可能有多个样本被试属于同一种属性掌握模式，也有可能某个属性掌握模式没有在样本被试中出现。

接下来的工作，仍然是寻找能够使该似然函数达到极值的被试参数估计值。与经典条件估计一样，对于离散有限取值的变量，可以直接穷尽有限的所有属性掌握模式，找到一种能够使该似然函数达到极大值点的模式。不过，在这个过程中需要结合考虑每种属性掌握模式发生的先验概率。

尽管极大后验估计与贝叶斯统计共享先验分布的概念和作用，但通常并不认为它是一种传统贝叶斯统计方法，这是因为极大后验估计是点估计，这与经典统计思想认为未知参数是一个确定量而非随机变量的观点一样。然而，贝叶斯统计方法的特点是使用后验分布来总结数据、得到推论。贝叶斯统计方法试图算出后验均值或者中值，而不是寻找一个确定极值——众数。

我们仍然用上面的被试数据来说明极大后验估计属性模式的估计过程。假设8种可能的属性掌握模式服从均分分布，即 。因此，该被试的后验概率如表7-4所示。

表7-4 极大后验估计

从表7-4中同样可以很容易看出，当被试属性掌握模式估计值为模式5时，对应的似然函数值最大。所以，根据被试的作答反应向量，该被试的属性掌握模式的极大后验估计值为[1 1 0] T 。在这里，读者需要注意到的是，我们为属性掌握模式设定的先验分布是均匀分布，因此其估计结果与极大似然估计结果是一致的。

三、期望后验估计

第三种被试参数估计方法称为期望后验估计（expected a posteriori，EAP）。这种估计方法需要首先构建关于未知参数的后验分布。例如，贝叶斯统计模型定义的式（7-7）所示，在已有试验样本数据信息及项目参数确定的情形下，假设被试参数的先验分布概率函数为g （α v ），那么，关于未知被试参数的后验概率就如式（7-36）所示：

式子中符号表达的意义与式（7-34）相同。其中：

这个式子与式（7-34）是一样的，均表示在已知项目参数情形下，某被试在所有项目上作答反应结果的联合概率。而，

这个式子则与式（7-10）是一样的，均表示某种作答反应模式u j 的边际概率，只是这里的项目参数已经确定。不过，对于离散变量α v ，积分形式需要转换为累加形式，如下：

把式（7-37）代入式（7-38）（项目参数已经确定），同时，把式（7-37）与式（7-38）代入式（7-36），并对未知参数求期望，可得：

式子中，L j （x k ）为当能力水平取值为x k 时，第j 种被试作答反应模式的联合概率，比照式（7-37）的形式构建，x k 为数值积分算法中选择的积点，代替具体的θ 取值，q 为积点个数，A（x k ） 为积点对应的系数或权重，且有：

于是，我们可以根据式（7-40）获得能力参数的期望后验估计。我们从这个式子中可以看到，能力参数的期望后验估计与极大似然估计过程不一样，它不需要进行类似牛顿-拉夫逊迭代的过程，而是通过直接计算就可以得到期望估计值。相对于极大后验估计方法，期望后验估计计算过程更简单，速度更快，且符合传统的贝叶斯统计思想，因此是更加受到推崇的一种能力参数估计方法。

根据表7-4得到的后验概率，该被试对各属性的掌握概率可以计算如下：

其中I 是示性函数，I （α ck =1）表示模式α c 中的第k 个属性值为1。得到p （α jk |μ j ，ξ ）后，然后以某个截断值（通常取0.5）将属性掌握概率（0到1的小数）转换成属性掌握模式（0或1）。上例中3个属性的掌握概率分别为0.952、0.973、0.192，如果采用0.5作为截断点，则该被试对应的属性掌握模式为模式5。

从这个实例可以看出，采用3种不同的估计方法，对该被试可以得到相同的属性掌握模式估计值。需要说明的是，这个例子只描述了最简单的情况，假定先验分布为均匀分布，在一些更复杂的情况下，这3种估计方法并不总是能得到相同的属性掌握模式估计值。

第四节 马尔可夫链蒙特卡洛方法

一、基本思想

关于马尔可夫链蒙特卡洛方法需要首先理解以下几个基本概念：随机过程、马尔可夫过程、马尔可夫链、蒙特卡洛方法。

随机过程研究的是随时间演变的随机现象。对于这种现象，一般来说，人们已不能用简单的随机变量或多维随机变量进行合理地表达，而需要用一族随机变量来描述。设T 是一无限实数集，我们把依赖于参数t ∈T 的一族（无限多个）随机变量称为随机过程，记为{X （t ），t ∈T }，X （t ）是一随机变量，T 叫作参数集。我们常把t 看作时间，称X （t ）为时刻t 时过程的状态，对于一切t ∈T ，X （t ）所有可能取的一切值的全体称为随机过程的状态空间。对随机过程{X （t ），t ∈T }进行一次实际试验（即在T 上进行一次全程观测），其结果是t 的函数，记为x （t ），t ∈T ，称它为随机过程的一个样本函数或样本曲线。当然，试验可以重复进行，所有不同的试验结果构成一族样本函数。因此，随机过程与其样本函数的关系就像数理统计中的总体与样本的关系一样。

关于马尔可夫过程，设随机过程{X （t ），t ∈T }的状态空间为I ，如果对时间t 的任意n 个数值t 1 ＜t 2 ＜…＜t n ，n ≥3，t i ∈T ，在条件X （t i ）=x i ，x i ∈I ，i =1，2，…，n -1下，X （t n ）的条件分布函数恰等于在条件X （t n-1 ）=x n-1 下X （t n ）的条件分布函数，即

则称随机过程{X （t ），t ∈T }具有马尔可夫性或无后效性，并称此过程为马尔可夫过程。通俗地说，马尔可夫过程是这样一类随机过程，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。而时间和状态都是离散取值的马尔可夫过程称为马尔可夫链。蒙特卡洛方法是一种使用随机数（或伪随机数）来解决很多计算问题的方法。当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过实际试验的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某类数字特征，并将其作为问题的解。蒙特卡洛方法的求解过程可以归结为三个主要步骤：构造或描述概率过程；从已知概率分布进行抽样；建立各种估计量。对于那些由于计算过于复杂而难以得到解析解或者根本没有解析解的问题，蒙特卡洛方法是一种求出数值解的有效的方法。

马尔可夫链蒙特卡洛方法，简称MCMC，产生于19世纪50年代早期，是在贝叶斯理论框架下，通过计算机进行模拟的蒙特卡洛方法。该方法将马尔可夫（Markov）过程引入蒙特卡洛模拟中，实现抽样分布随模拟的进行而改变的动态模拟，弥补了传统的蒙特卡洛积分只能静态模拟的缺陷。马尔可夫链蒙特卡洛方法通过模拟的方式对高维积分进行计算，进而使原本异常复杂的高维积分计算问题迎刃而解，使贝叶斯方法仅适用于解决简单低维问题的状况大有改观，为贝叶斯方法的应用开辟了新的道路。

马尔可夫链蒙特卡洛方法的基本思想，首先是通过序列抽样，产生关于模型参数的随机变量序列{X （0），X （1），X （2），…，X （t -1），X （t ）}，这个随机变量序列最终收敛到某个平稳分布（stationary distribution）π （x ），该随机变量序列称为马尔可夫链；然后通过该随机变量序列的样本来推论（估计）模型参数的各种特性。因此，该方法有两个关键步骤：一是建立马尔可夫链；二是运用马尔可夫链的样本来估计模型参数的各种特性。

为了便于叙述和理解，下文将把马尔可夫链中的各个值称为观测值。

二、马尔可夫链的建立方法

如何产生收敛于某个平稳分布π （x ）的随机变量序列（马尔可夫链），是实现马尔可夫链蒙特卡洛方法的关键。根据马尔可夫链的建立原则，链中的各个观测值的产生过程应该是依次进行的，后一个观测值的产生只依赖于前一个观测值，而与更早产生的观测值无关。也就是说，在建立马尔可夫链过程中的任一时刻t （t ≥0），序列中下一时刻t +1处的取值X （t +1）由条件分布P （x |X （t） ）决定，它只依赖于时刻t 处的状态，而与时刻t以前的历史状态无关。因此，马尔可夫链的建立过程就是从一个时刻状态向下一个时刻状态转移的过程，其一步（次）转移概率函数为P （X （t+1） =x′ |X （t） =x ），该转移概率函数可以记为p （x ，x′ ），称为该马尔可夫链的转移核，通过该转移核产生的且收敛的随机变量序列的分布即为平稳分布π （x ）。因此，转移核的构造就成了实现马尔可夫链蒙特卡洛方法的关键，不同的马尔可夫链蒙特卡洛方法，其实质往往也就是构造转移核的方法不同。而在现在的实际应用研究中，大多数马尔可夫链蒙特卡洛方法在构造转移核时，关键就是要写出模型参数（变量）的满条件分布（full conditionals）。所谓满条件分布，就是在条件分布中，所有的模型参数（变量）应该全部出现，或出现在条件中，或出现在变元中。在关于项目反应理论模型的相关研究文献中一般会提供各相关参数的满条件分布。

由于模型参数的特性是通过建立的马尔可夫链的样本进行估计的，而该马尔可夫链应该收敛到某个平稳分布π （x ）上，因此，理论上，该平稳分布应该要服从模型参数的后验分布（posterior distribution）。

另外，任何一个马尔可夫链的建立都需要有一个起始点，即初始值X （0）。虽然经过研究发现非常不同的初始值最终也能够收敛到平稳分布，但选择一个更加合理的初始值应该能够提高收敛的效果。接着的另外一个问题是，什么时候才能认为抽样过程已经收敛了呢？这虽然没有统一的标准检验判断方法，但是，从经验出发，如果产生的观测值足够多，如6000或更多，那么，它应该是收敛的。另外，也可以通过以下经简化的方法来进行验证，在建立马尔可夫链的过程中，每隔一段计算该段所有观测值的平均数，当所有平均数趋于稳定时，可以认为抽样过程收敛。

马尔可夫链的具体建立方法主要有以下几种：Gibbs抽样方法、Metropolis-Hastings抽样方法、Gibbs结合Metropolis-Hastings方法。

在项目反应理论研究和应用中，Gibbs方法就是从模型参数的满条件分布中直接进行反复迭代抽样，这个过程与项目反应理论中的联合极大似然估计过程类似，即一个参数估计（产生）值作为估计（产生）另一个参数的已知值，如此循环进行迭代更新，因此，Gibbs抽样是单元素抽样，因为每一步只从单个参数的满条件分布中进行抽样。然而，该方法的实现通常涉及计算正态化常数，使样本难以抽取，这个步骤使得该方法显得不够简洁便利。

Metropolis-Hastings方法显得更加直接且计算简单，该抽样方法类似统计计算中的筛选抽样方法（acceptance/rejection sampler），该方法把难以直接抽样的后验分布表示成一个易于直接抽样的密度函数与一个易于计算的函数（该函数应该大于0，同时小于或等于1）之间的乘积，于是可以据此构造建立马尔可夫链的转移核，即形如p （x，x′ ）=q （x，x′ ）α （x，x′ ）。该方法在实际研究中的具体抽样过程是，首先确定各个参数的建议分布（proposal distribution），该建议分布应该是易于直接抽样的，最好是便于我们计算的对称分布，如正态分布或对数正态分布，从建议分布中抽取一个随机数作为参数候选值，然后以该候选值及前一个已经产生的观测值来运算另一个函数α （x，x′ ），把该函数值与从均匀分布U （0，1）中抽取的一个随机数进行比较，根据比较结果决定接受或拒绝参数候选值作为下一个观测值。由于我们的目标是使产生的平稳分布符合后验分布，因此，选择的函数α （x，x′ ）应该能使转移核p （x ，x′ ）以π （x ）为其平稳分布，于是一个最常用的选择是 ，如果建议分布取对称分布，即q （x，x′ ）=q （x′，x ），那么函数α （x，x′ ）可以简化为 。该方法虽然计算更加简单，但涉及拒绝或接受从某个建议分布中产生的候选值的过程，而该过程很难使拒绝或接受的概率达到一个最佳水平，甚至使接受的值严重偏离参数的后验分布，特别是当参数非常多的时候，很难稳定。Gibbs结合Metropolis-Hastings方法，同时产生所有参数的后验分布有时是困难的，而逐个进行循环抽样则简单得多，这时就需要用到满条件分布，于是这个问题就与Gibbs抽样类似了，其实，Gibbs抽样就是一种单元素Metropolis-Hastings算法。然而在Gibbs抽样算法中，从模型参数的满条件分布中直接进行抽样可能难以抽取，而Metropolis-Hastings方法的抽样过程则具有很大的灵活性。因此，许多文献研究了Gibbs抽样与Metropolis-Hastings方法结合的问题，该方法把整个过程分解成单元素循环迭代抽样过程，Gibbs抽样方法类似，在每一个迭代中，首先从某个元素（模型参数）的建议分布中随机抽取一个候选值，然后以该候选值及前一时间点产生的观测值（包括其他元素或模型参数的最新值）来运算另一个函数α （x，x′ ），把该函数值与从均匀分布U （0，1）中抽取的一个随机数进行大小比较，根据比较结果决定接受或拒绝候选值作为下一个观测值，该过程即结合了Metropolis-Hastings方法。

三、马尔可夫链的使用

建立了服从某个平稳分布的马尔可夫链之后，通常以这个马尔可夫链的样本平均数作为参数的估计值。当然也可以通过这个马尔可夫链的样本来估计参数估计的标准差等。在实现马尔可夫链的过程中，开头的部分观测值会显得非常不稳定，因此，在实践研究当中，通常是以删除了马尔可夫链开头的部分观测值（burn-in）之后剩余的观测值作为研究样本。

下面还是以DINA模型为例，简单介绍利用马尔可夫链蒙特卡洛方法估计项目参数和被试属性掌握模式的过程。这里需要估计的参数为项目的猜测参数s 、失误参数g ，以及被试的属性掌握模式α 。这些参数的联合后验分布可以表示如下：

当给定余下相关的参数，这些参数的完全条件分布可以分别表示如下：

在马尔可夫链蒙特卡洛算法的第t 次迭代时，按如下的过程进行抽样。

①对于s 和g ，从建议分布中抽取它们可能的值，并且按照如下的接受概率进行更新。

②对于α ，同样从建议分布中抽取可能的值，并且按照如下的接受概率进行更新。

需要说明的是，虽然这里对于s 和g 是按照整体来进行抽样的，但并不代表必须这样做，对它们分别进行抽样也是可以的。建议分布的选取理论上是可以任意选择的，但是很多研究表明建议分布的选取会影响到算法的收敛速度。因此，为了算法更好更快地收敛，建议选择使样本相关较小的分布。关于这方面的内容，可以参考相关的文献。

本章小结

参数估计是获得认知诊断结果的技术。参数估计方法的合适性主要是看其实现过程的高效性和估计结果的稳定一致性。

不同的参数估计方法均是基于已有的信息，包括测试样本数据信息和过去的经验信息（先验信息），结合具体的模型，通过寻找极大似然估计值来推断被试特征的过程。测试样本数据信息和先验信息的质量是影响参数估计结果的主要因素。测试样本数据信息的质量受到被试样本质量和容量、测验题目质量和数量的影响，先验信息的质量主要受到我们关于被试特质和题目特征的认知深度的影响。对测试样本信息和先验信息的认识和使用方式也是影响参数估计结果的关键因素，并由此形成了不同的参数估计方法和实现策略。

思考题

1.什么是先验分布？什么是后验分布？

2.边际极大似然估计的一般过程是什么？

3.极大后验估计和期望后验估计方法的关键不同之处是什么？

第八章 认知诊断评价测验的编制

摘要：任何测验编制的目标均是要保证测量结果有合理的信度和效度，认知诊断评价测验的编制同样也需要遵从这条原则。在信度方面，测验需要保证用尽量少的项目得到稳定一致的诊断结果。在效度方面，测验需要能够诊断测验蓝图所定义的领域目标；本章主要介绍了认知诊断评价测验编制的一般原则和方法，以及测验和题目质量的评估方法。

测验是收集被试认知行为的高效率方式，我们通过分析被试在测验上的作答行为反应，来推测被试潜在的认知特质发展水平。测验质量的高低决定了推测结果的质量优劣，进而影响评价结果的作用。评价测验质量的关键指标是测验的信度和效度。

第一节 认知诊断评价测验设计及题目编写

在大规模评价项目中，最常用的测量工具就是测验，基于对测验及项目的深入分析，可以对被试个体和群体的水平进行评价。作为评价工具的测验质量直接影响结果的准确性和有效性。经典测量理论和项目反应理论对被试的评价是基于一个累加总分或能力特质分数，这个指标能够对被试水平进行排序，但很难进行更细致的评价。

一、认知诊断评价测验设计目标

认知诊断评价理论提出的最根本目的就是实现对被试水平更细致的分析，诊断出影响被试作答表现的内部原因，发现被试在某特质领域里的认知发展状态和不足之处，从而协助被试和教育者针对不足进行辅导。为此，认知诊断评价理论需要首先定义测验测量的领域知识、加工技能、加工策略等，雷通等人（Leighton，Gierl，& Hunka，2004）将这些认知属性及其层级结构关系叫作认知模型，强调认知模型应该在测验项目编制之前就定义好，以指导测验项目的编制，这样才能保证测验内容结构的唯一性和稳定性。

艾姆布雷孙等人（Embretson & Gorin，2001）认为过去我们在编制测验时几乎忽略了认知心理学的指导价值。在传统的测验编制中，测验结构的定义非常模糊，测验项目编制者也是主要凭经验进行工作，测验项目编制完成后，由学科领域专家进行审核，最后通过试验性数据分析来证明测验的效度。大多数情况下，试验数据分析结果并不会根本改变测验的组成及其结构。其实，一开始的测验设计和最后得到的测验结构之间经常是不一致的，而且研究者会更相信最后的试验分析结果。

艾姆布雷孙等人强调认知心理学理论、方法在指导测验编制时具有的独特的重要性。在典型的认知心理学研究中，主试在实验中设置和操纵各种任务条件，以检验关于某个结构及其加工机制的假设。在实验中，任务特征可以系统变化以产生不同的加工难度。关键是，在认知心理学研究中，理论是研究者预先精细假设的，设置和操纵任务是为了验证该理论假设是否成立，理论和任务两者之间的逻辑关系非常严密。这种研究范式和传统的测验编制模式存在明显的不同。

艾姆布雷孙等人认为认知心理学至少可以从以下几个方面促进测验效度的提高：①辅助定义测验结构和编制题目任务，详细定义影响任务难度的特征；②为诊断性评价提供理论基础，详细定义完成任务所需的知识、技能；③为自动评分提供准则，指导结构定义、测验设计和任务设计的有机整合；④为题目自动生成算法提供结构定义和刺激特征描述。

二、认知设计系统

艾姆布雷孙等人提出了基于认知心理学理论的认知设计系统（cognitive design system，CDS），指导如何设计符合某个特定结构定义的题目。认知设计系统包括两个框架：一是概念框架（conceptual framework），二是程序框架（procedural framework）。

概念框架区分了结构效度两个相对独立的方面：结构表征和结构广度，分别表示结构本身的内涵定义和结构概念的外延范围。结构表征代表的是在任务解决中涉及的知识结构、加工过程和策略。认知心理学的研究范式主要是支撑结构表征的界定，任务的刺激特征定义及其难度的数学表达模式是主要的研究内容。结构广度涉及的是本测验分数与其他测量之间的关系，但不关心概念结构本身的内涵，这与克隆巴赫和米尔斯定义的概念网络（nomological network）不同。当然，结构广度的验证过程必须基于结构表征的内容基础之上。将结构表征从结构广度中区分出来，可以让认知心理学理论和方法真正指导测验题目的生成和评价，因为它可以明确定义影响题目难度的精细化的刺激特征。

程序框架包括了一系列步骤，界定如何在认知心理学理论基础上进行测验设计。为了使编制的题目能够测量预先定义的结构，就需要首先了解影响题目解决过程的系列具体刺激特征。程序框架共包括七个步骤，当然，这些步骤并不是一成不变的，为了使编制的题目符合要求，有些步骤就需要反复进行。这些步骤是：

①定义测量目标。测量目标需要从两个方面进行单独界定，一是测量结构的表征，二是测量结构的广度。

②针对具体任务领域，定义各类任务的设计特征。这些设计特征，或叫刺激特征，是组成各类具体题目的设计单元。通过变换认知加工、策略和知识结构，可以验证题目特征对应的结构表征。识别这些认知特征需要对认知心理学理论有较深入的理解。

③定义一个统一的测验认知模型，主要涉及三个方面：一是必须定义好测量的知识结构、认知加工过程和加工策略，这就必须进行广泛深入的文献调查研究；二是必须从操作的角度定义反映这些结构表征的具体刺激特征，最好通过实际题目来进行示例表示；三是需要基于实际题目和实测数据，对各认知特征的测量学特性进行分析，以评估各认知特征对题目难度、区分度的相对影响大小。

④设计和命制题目。在这个阶段，根据题目结构定义及各种组合替代规则，将各类刺激特征组合成实际的题目。题目结构定义的变化意味着不同的认知加工要求。将设计好的题目组成测验进行测试。

⑤根据测试结果对认知模型进行评估。这个阶段非常关键，因为需要验证测验的结构表征是否正确，以及题目的设计生成过程是否合理。对认知模型和测量学模型的合理性均需要进行验证。在认知模型的验证中，因变量是平均反应时和题目难度，自变量是题目的结构以及题目的刺激特征。根据各刺激特征的影响程度来评估其代表的认知特征的影响程度，验证的过程可能需要结合严密的实验操纵过程来进行，以保证结论更加可靠。测量学模型的评估是评价其与项目反应数据的拟合程度。

⑥生成题库。如果认知模型及各类刺激特征定义是合适的，那么，我们就可以通过组合不同难度的刺激特征，来生成不同认知复杂度的题目。

⑦结构广度的效度验证。生成的题目和测验是否达到了结构广度定义的要求，需要根据该测验和题目与其他测量结果之间的关系进行验证。

艾姆布雷孙等人提出的认知设计系统非常严密，对编制高质量的认知诊断测验具有重要的指导意义。然而，该系统在实际测验和项目编制中可能会遇到各种困难，该设计系统对每个步骤要求都非常严格，测验和项目设计者很难完全按标准做到。然而，作为一个参照标准，特别是指导认知诊断测验的编制时，测验设计者应该高度重视其价值。

三、测验题目与属性的组合模式设计

在认知诊断评价中，测量结果的精确性会同时受到测验长度（题目数量）、题目质量和题目与属性的组合模式的影响。因此，在保证题目编制数量和质量的同时，还必须要从总体上考虑测验中的题目与属性的组合模式设计。

有学者对认知诊断测验结构的优化设计问题进行了较系统的研究，认为测验题目的属性组合中应该包含可达矩阵（颜远海，丁树良，汪文义，2011；彭亚风，罗照盛，喻晓锋，等，2016）。彭亚风等人的研究结果进一步认为，Q 矩阵中所包含的R * 个数（N R* ，Q 矩阵中包含的与R 矩阵元素结构相同的矩阵子集称为类R 阵，记为R * ）对诊断效果有重要影响，但当测验长度为属性个数的整数倍时，分类准确性并不完全是随着 的增加而提高，而是呈现奇数规律，即当 为最大奇数时属性掌握模式判准率最高。另外，在不同测验长度下，若要获得最好的诊断效果，除R * 以外的项目应从其对应属性层级关系下的典型项目考核模式中抽取，且需针对不同的属性层级关系做一些相应的设计。针对不同属性层级关系下的测验结构设计提出以下建议：直线型的测验长度至少要为属性个数的4倍且Q矩阵至少包含1个R * ，除R * 以外的所有项目中，每种典型项目考核模式出现的次数应尽量平均；收敛型的测验长度也至少要为属性个数的4倍且Q矩阵至少包含1个R * ，除R * 以外的项目应以考察处于每一个分支上的属性为主，其次是分别考察分支上属性的先决属性以及整个属性关系结构；发散型的测验长度应至少为属性个数的5倍且至少包含1个R * ，除R * 以外的项目应以考察每一个分支上的属性组合为主要考核模式；无结构型的测验长度需要至少为属性个数的6倍且至少包含3个R * ，除R * 以外的项目应以考察每个属性及其先决属性为主；独立型则需要至少6倍于属性个数的测验长度且至少包含5个R * ，除R * 以外的项目以考察任意两个属性为主。混合型则至少需要6倍于属性个数的测验长度且至少包含2个R * ，除R * 以外的项目考察的属性组合按照属性间的具体关系参照上述5种基本层级关系下的建议来设计。

第二节 项目与测验质量评价

认知诊断测验的质量评价包括对单个项目质量的评价和对测验整体质量的评价。测验作为评价被试素质水平的工具，无论是单个项目质量的评价还是测验整体质量的评价，其目标均是能够为评价被试提供稳定的、有效的信息。

一、项目质量评价

在经典测量理论和项目反应理论中，项目质量分析包括项目呈现形式的分析（如文字表述方式、提问方式、选项内容长短不一等方面的检查）、选项分析、难度和区分度分析等，在项目反应理论中，还可以针对测验目标分析每个项目的信息量（测量误差信息）等。

在认知诊断评价中，项目质量分析的内容角度与项目反应理论基本是一样的，但认知诊断测验项目的应用情境还是有一些关键的不同之处，因此在具体的项目质量分析过程中存在一些差异。

首先，在认知诊断评价中，测验项目编制的主要目的是对被试进行诊断，而不是对被试进行排序或选拔。诊断测验一般是低厉害测验。因此，项目的功能主要是诊断各类被试学习不足的方面。

其次，在认知诊断评价中，对被试的评价并不是在一个一般（general）维度上的水平测量，而是对多个子属性的掌握状态的评估。因此，不同项目可能测量了不同的子属性，项目质量评价就需要考虑在不同子属性上的测量信息。

再次，在认知诊断评价中，不同的诊断模型或方法构建差异非常大，其参数意义也存在很大的不同。因此，在用模型参数对项目质量进行评价时并不能一概而论。

最后，在认知诊断评价中，作为评价的目标——被试属性发展状态的表示方式也存在差异。潜分类模型将被试属性发展状态表示为在一系列属性上离散的掌握模式，而连续潜特质模型则将被试属性发展状态表示为在一系列属性上连续的掌握模式。被试水平的不同表示方式会影响基于被试测试数据的分析方式。

根据项目质量分析的一般架构，同时结合认知诊断评价的具体情境，对认知诊断测验的项目质量分析可以从以下几个方面进行。

一是项目内容及其表述方式的检查。项目内容表述不清，容易使作答者无法理解或理解出现偏差，从而导致出现不同的作答结果，无法准确认定被试的认知属性。对项目内容表述方式的检查一般是要求文字表述清楚且通顺，不会引起误解。文字的表述尽量使用短句，不要有太多的连接词和修饰词，尽量不要使用反问句式。文字表述的内容要使作答者和题目命制者在意义理解上达成一致。

具体的内容检查过程中，先由有经验的测验编制专家对各个项目的表述方式进行完整的检查；然后找到部分被试代表对各个项目表述的意义进行解释，并尝试作答，以此分析被试对各个项目意义的实际理解是否与命题专家一致。

二是选项分析。针对选择题型一般需要进行选项分析。在经典测量理论和项目反应理论中，一般认为，选项中除了正确选项就是错误选项。在认知诊断评价中，项目的选项分析显得尤为重要，它认为项目的各个选项均提供了关于被试属性发展水平的信息，当然这对选择题型题目命制者也提出了更高的要求。

在进行项目选项分析之前，需要从测验开发者那里获得关于各个选项测试的属性及其水平的信息。一般来说，一个项目测试的属性最好不要随着选项的变化而变化，但是可以随着选项的变化而表示不同的属性掌握水平，每个错误选项代表一种错误的解题规则。

在认知诊断测验项目选项分析中，首先从内容上分析各个错误选项是否代表了该项目测试属性的主要错误规则。选择题的选项除正确选项外，一般代表了对某个概念或规则理解的偏差，这也正是认知诊断评价的主要关注目标。在某属性上可能的主要错误规则需要领域专家进行判断，因此，第一项选项分析工作需要领域专家完成。其实，这项工作可以在测试之前的认知模型定义或题目命制阶段完成。

假设第一步工作已经做得很好，选项分析的第二步就是统计每种选项上的被试人数。但在认知诊断评价中，我们关注的重点并不是正确选项人数是否占优势，或错误选项之间分布是否均匀等问题。我们关注的是代表不同错误规则的错误选项上的人数比例。如果某错误选项上的人数比例较高，这可能意味着教育者的教育过程出现了问题，当然也很可能是该选项表达的内容很难与正确选项区分开来。如果某错误选项基本上没有作答者选择，那么可能因为其表述的倾向过于明显，当然也有可能是作答者根本不会出现这类错误规则，该选项就应该被删除。

三是项目参数质量分析。项目参数分析是项目质量分析中的重要内容之一。在经典测量理论中，项目参数主要是从测试群体的角度进行评价的，它要求项目区分度高，难度适中。在项目反应理论中，项目参数则可以从测试个体的角度进行评价，它仍然要求项目区分度高，但项目难度则可以针对不同的被试水平有不同的价值，被试水平与项目难度越接近，则可以获得越大的信息量。总之，在评价被试时，项目参数的大小是有优良之分的，因为它能影响测量误差的大小。

在认知诊断评价中，根据对数据资料的不同解释逻辑，构建了许多包含不同参数的模型，这些模型参数的意义也不相同。但无论项目参数如何构建，各种模型的被试参数反映的总是关于属性的掌握状态。项目参数是以被试的实际作答表现来估计的，反映了被试某方面的分布特征，与被试水平分布有着内在的关联。在评价被试属性掌握状态时，不同模型的项目参数值大小同样有优劣之分、合适与不合适之分。

被试属性与测验属性是一致的，但不同项目测试的属性及属性个数可能并不相同，因此，项目提供的信息是针对其测试的属性来说的。由于模型参数不一致，所以我们无法统一评价项目参数的大小，但我们可以给出项目参数评价的基本原则，那就是参数的大小应该以评价被试相应属性提供的更大信息量为标准。以DINA模型为例，其项目参数包括失误参数和猜测参数，两种参数均是表示作答结果偏离被试真实水平表现的程度，也就是说，这两个参数值越大，意味着该项目在评价被试真实水平时会有更大的误差，信息量也就越小。不过，失误参数和猜测参数分别反映了被试群体的不同分布特征，失误参数反映了高水平被试的作答分布特征，而猜测参数则反映了低水平被试的作答分布特征。失误参数值高意味着该项目不适合评价高水平被试，猜测参数值高则意味着该项目不适合评价低水平被试。如果两个参数值均较高，则该项目应该被替换。

二、测验质量评价

测验质量评价是从整体上评价测验在测量被试水平时的稳定性和有效性，也就是评价测验的信度和效度水平。

（一）测验信度评价

信度反映了测验受到随机误差因素影响程度的大小。随机误差因素非常多，研究者已经针对一些重要的随机误差因素开发了测量其影响大小的方法和技术。比如，时间对测验结果稳定性的影响，研究者一般通过同一测验在两次不同时间测量结果的一致性程度来表示；题目抽样对测量结果一致性的影响程度则通过复本信度、分半信度或其他内部一致性信度指标来测量；等等。项目反应理论基于项目参数计算测验对不同能力水平被试提供的信息量大小，以此反映测验在估计被试能力水平时的测量误差，项目参数反映了项目本身的编制质量。

在认知诊断评价中，测验结果的稳定性或一致性同样是非常重要的问题，在提供诊断性结果的评价中，这甚至是一个需要更加重视的问题。

诊断结果随时间的稳定性同样可以根据两个不同时间测试结果的一致性程度进行评价。但是在认知诊断评价中，有两个具体问题需要在测验结果一致性检验时加以考虑。一是诊断的目标内容本身随时间的推移而发生变化的规律。有些诊断的目标特质随着时间的推移呈现出非常稳定的特征，如智力水平、性格特征、价值观等，而有些特质则会随着时间的推移而出现明显的变化，如知识的掌握、技能的进步、情绪特征等。对于不同的诊断目标特质，在评价测验的稳定性时，其测试的时间间隔和评价标准是不同的。二是测验结果一致性的具体计算方法。在认知诊断评价中，被试水平通过一个向量来表示其在各个属性上的掌握状态，而在各个属性上的掌握状态可能是离散的，也可能是连续的表示形式。对于离散型数据，我们可以借鉴模式匹配率（pattern match ratio，PMR）和平均属性匹配率（average attribute match ratio，AAMR）的计算方法来评价测试结果的一致性程度。PMR和AAMR指标的计算方法如下：

其中，N 为样本容量；N i_match 表示被试i 在两次测试中的属性掌握模式是否完全一致，完全一致取值1，否则取值0；K 为测验属性个数；N ik_match 表示在两次测试中被试i 对属性k 的掌握状态是否完全一致，完全一致取值1，否则取值0。

对于连续型数据，我们也可以模仿以上匹配率的构建模式来构建一致性评价指标。但由于误差因素的影响，连续型数据很难达到模式完全匹配的结果，因此，我们只构建基于每个被试在每个属性上的整体一致性指标，该指标称为平均属性一致性（average attribute consistency，AAC）。该指标的计算形式如下：

式子中， 表示被试i 在属性k 上的第一次测试结果， 表示被试i 在属性k 上的第二次测试结果，其他符号意义与前述指标一致。然后计算所有被试在每个属性上一致性的方差，形式如下：

其中，x ik 为被试i 在属性k 上两次测试结果的差异， 为x 的平均数。 表示了测试结果差异的稳定性程度。

题目抽样给测验结果一致性带来的影响也可以通过复本信度、分半信度等指标来测量。但是在计算结果一致性时，同样需要考虑被试水平表示方式的不同导致解决办法在形式上的差异。由于同样是评价两组被试水平测试结果的一致性程度，因此，我们还可以借鉴重测信度的评价方法来对测验内部一致性进行估计。

以上两个测验结果一致性指标是用比率的形式来表示的，用于评价测验在结果一致性上的相对质量，但并没有提供绝对的标准。

（二）测验效度评价

测验效度是测验的本质特征，是评价测验价值的基本指标。心理测量的目标是通过测验等方法，以观察分数的形式来获得被试在某个潜在特质上的位置水平的信息，并将此信息应用于评价被试在不同领域的适应性水平。效度是衡量测验达到开发者评价目标的程度的指标。评价测验效度的角度有两种：一是从测验本身内容的角度评价测验测量的目标领域完备性；二是从测验外部寻找测验有效性的证据。测验本身的内容是外部有效性的理论基础，外部有效性则是测验拓广价值的体现。

从测验本身内容的角度评价测验有效性，主要论证测验是否很好地代表了测量目标领域的内容。雷通等人认为，认知诊断评价首先需要建立关于目标领域的认知模型，该认知模型包括了知识、技能、策略等及其层级关系。然后，领域专家严格按照该认知模型的定义命制测验题目。艾姆布雷孙等人提出的认知设计系统（见上一节内容）则对认知模型的构建、测验题目的设计和模型的验证进行了详细的规划，是编制一份具有较好结构效度和内容效度的测验的指导规则。

当然，在严格按照设计规则命制了测验之后，我们仍然需要对该测验的内容效度进行考察。验证的具体过程就是，找到一批独立于测验项目命制专家的领域专家，由这批专家独立地对所有测验题目测试的属性进行重新定义，建立测验属性Q矩阵，并以此属性矩阵来评估测验是否很好地代表了目标领域的内容及其权重。

有许多途径可以从测验外部寻找测验有效性的证据。编制认知诊断测验的目的是诊断被试在测验本身代表的目标领域中发展的不足之处，因此，实验干预的方法是检验该类测验有效性的最佳途径。有研究者（Tatsuoka & Tatsuoka，1997）就用实验干预的方法验证了诊断测验的有效性。他们首先通过前测（pretest）对被试在某领域的认知状态进行诊断，发现这些被试认知发展的不足之处，然后针对这些不足之处进行补救教学和辅导，在认为这些被试已经掌握了相应的内容之后，对被试进行后测（posttest），以检验针对相应内容的干预效果。他们还在一段时间之后检验了被试对知识内容的保持状况。还有研究者也是通过前测、干预教学、后测加访谈的方法检验了英语阅读技能诊断测验的有效性。

本章小结

效度与信度是评价任何测验编制质量必需的指标。相对于传统的评价测验，认知诊断评价测验的编制是一个更加精细化的过程，它需要一个更加严密的测验编制指导架构来支撑题目的编制过程。

艾姆布雷孙等人基于对认知心理学理论、方法在指导测验编制时具有的独特重要性的认识，提出了指导测验编制的认知设计系统，该指导架构逻辑非常严密，对编制高质量的认知诊断测验具有重要的指导意义。

初步测验编制后的质量分析是保证测验实现诊断目标的关键步骤。项目质量分析和测验整体质量分析均是为了保障测验的效率、信度和效度。

思考题

1.请深入思考和分析艾姆布雷孙等人提出的测验编制原则和具体流程。

2.如何保证认知诊断测验的信度和效度？

第九章 认知诊断计算机化自适应测验

摘要：与传统的纸笔测验相比，认知诊断计算机化自适应测验具有精确、高效、安全、人性化的特点和优势，是现代测量理论与技术的一个重要应用。本章介绍了认知诊断计算机化自适应测验的一般建构过程和应用过程，主要包括题库建设、选题策略等，同时还介绍了结合认知诊断计算机化自适应测验的题目在线更新技术。

计算机化自适应测验（computerized adaptive testing，CAT）是基于现代测量理论的一个最具特色和优势的应用，其优势主要体现在三个方面：一是能够根据被试不同水平提供适合其难度的题目，这也是计算机化自适应测验的最大优势。这种测验形式改变了传统的所有被试测试相同题目的模式。只有适合被试水平难度的题目才能对其评价提供更大的信息量，太难的题目无法定位被试水平的上限，太容易的题目无法定位被试水平的下限，只有难度合适的题目才能估计被试的水平范围。二是测验过程中出题、能力水平估计和测验终止均是基于网络的计算机化自动处理，节省了测验组卷、试卷分发和回收、试卷批改和成绩发布等环节消耗的大量人力、物力和财力，大大提高了测验效率。三是测验的组织过程更加安全。计算机化自适应测验实施过程中，不同被试的测验题目是不一样的，被试无法通过抄袭或外部提供的信息来进行作弊，而且测试过程通过网络进行，试卷和题目存储在一个统一的地方，这样可以保证测验的实施过程更加安全。

当然，要充分发挥计算机化自适应测验的优势，有两个方面的工作必须做好，一是题库的建立，题库必须覆盖测量目标的所有方面，题目的难度、区分度指标分布要合理，平行题要足够多。二是题目的在线更新，这包括两个方面的内容：一是题目参数在每隔一段时间后需要根据采集的测试数据进行更新；二是题目内容需要更新，这也包括增加新题，增加的新题可以通过在线更新的方法来标定其参数，不需要专门单独组题进行测试。

计算机化自适应测验模式在认知诊断评价中同样具有重要的应用价值。认知诊断计算机化自适应测验（cognitive diagnostic computerized adaptive testing，CD-CAT）与基于项目反应理论的计算机化自适应测验虽然基本理念是一样的，但CD-CAT的具体实施过程却与IRT-CAT有着很明显的不同。

计算机化自适应测验一般包括以下几个方面的内容：题库建设、选题策略等。所有这些内容都需要在正式实施测验之前设计完成。在计算机化自适应测验系统中，有时候还会嵌入题目在线更新模块，包括新增题目、题目内容更新、参数更新与参数标定。认知诊断计算机化自适应测验同样包括这几个方面的内容。

第一节 题库建设

题库建设主要包括题目编制、参数标定、题库组织三个方面。

一、题目编制

认知诊断测验中题目的编制主要强调题目的诊断功能，也就是编制的题目应该能够用于诊断被试的知识、技能、策略的掌握状态（即属性掌握状态），以保证测验有合理的结构效度。关于如何编制具有认知属性诊断功能的题目的具体方案，艾姆布雷孙等人提出的基于认知心理学理论的认知设计系统具有很好的指导作用，相关内容已经在本书的前面章节中进行了阐述。

另外，还需要考虑测试每种属性的题目数量。被试的属性掌握状态从理论上说是有无限种类型的，如果用离散模式（即1-掌握或0-未掌握）来表示被试对属性的掌握状态，那么属性掌握模式是有限的。然而，因为被试对每种属性的掌握程度可能不同，因此，为了能够稳定鉴别不同被试的真实属性掌握状态，需要针对每种属性编制足够多的测试题目，以保证测试结果有较高的信度（信息量）。

测验长度当然是影响测量结果精确性的关键因素，然而，计算机化自适应测验的一个优势是能够用更少的题目对被试做出更精确的评价。而在认知诊断测验中，题目质量和题目间的属性组合模式均会显著影响测量结果的精确性。

为了能够用更少的题目更精确地对被试进行诊断，一方面，要保证进入题库的题目必须有较好的测量学参数，另一方面，还必须要根据目标领域认知模型，合理分配题库中的题目与各种属性的组合模式。

计算机化自适应测验从根本上来说属于个体测验，它为每个不同个体量身定制合适的测验版本，当然，参加测试的被试会有很多，而且可能有各种不同的属性掌握模式和掌握水平。那么，在这种测试环境下，如何设计一个优良的题库，在节约题目编写工作量的同时，又能保证各类被试均能被高效又准确地诊断呢？彭亚风等人（2017）对该问题进行了系统研究，并得到一些值得借鉴的结果。研究结果认为，在题库容量方面，目标测试领域内属性个数及其层级关系下的典型项目考核模式种类是决定题库容量的重要指标。直线型、收敛型和发散型所需的题库容量是对应的典型项目考核模式种类的4～5倍，而无结构时为3～4倍。在题库包含的项目类型及其项目数量方面，每种项目类型的项目数量与该项目类型所包含典型项目考核模式的种类有关，且因属性层级关系的不同而不同：在直线型和收敛型情况下，每种项目类型包含的典型项目考核模式均为5个左右；在其余3种属性层级关系下，随着项目类型中考察的属性个数的增加，对应所包含的每种典型项目考核模式的项目个数依次减少：考察1～3个属性的项目类型中每种典型项目考核模式的项目个数分别约为5、4、3个，考察4个至K-1个属性的项目类型中每种典型项目考核模式的项目个数均为2个左右，以及1个左右考察K个属性的典型项目考核模式。

二、参数标定

认知诊断测验中题目参数的标定同样包括测量学参数和内容参数两大类。测量学参数会因为使用了不同的模型而有不同的参数类别，如DINA模型就包括基于题目水平的猜测参数g 和失误参数s ，而NIDA模型的参数就是基于属性水平的，而RRUM模型则更加复杂一些。参数标定主要涉及参数估计技术，一般还会涉及参数的等值。具体实现方法请参看本书的相关内容。当然，由于认知诊断模型众多，许多模型的参数估计和等值技术需要具体问题具体解决。

内容参数主要是题目测试的具体属性的标定。

三、题库组织

在编制了足够多的符合认知诊断目的的题目，且标定了题目的所有相关参数之后，还需要考虑如何有条理地组织这些题目，以便测试的过程更加高效，对于大型题库尤其如此。计算机化自适应测验的整个实施过程都是在线的、即时反应的，而且同时参加测试的被试数量可能较多，因此，题目的挑选过程必须是高效的。对个体来说，在测试的不同阶段需要挑选不同类型的题目，在IRT-CAT中，主要考虑在初始阶段和精确估计阶段使用不同难度和区分度的题目，因此题库的组织经常根据题目测量学参数进行分类。而在CD-CAT中，除了考虑题目的测量学参数之外，题目的属性组合模式是需要考虑的同等重要的问题。对于整个测试群体来说，还需要随着测试的进行考虑题目的曝光控制问题，跟踪题目使用情况并做出必要的处理，如对过度曝光的题目暂时休眠等。题库中可能还需要对题目在线更新过程进行跟踪。

第二节 选题策略

选题策略直接影响测试过程的高效性和测试结果的精确性，同时还会影响题库的使用效率，因此选题策略一直是CD-CAT研究的主要内容。

一、测验初始阶段的选题策略

选题策略的研究经常分初试阶段的选题策略和精确估计阶段的选题策略。在选题的初始阶段，由于缺少足够的信息，因此很难对被试做出有意义的判断。但是，初始阶段的测试信息可以为下一步精确估计阶段的选题提供基础。在传统的IRT-CAT测试中，初始阶段的题目一般是选择中等难度附近的题目，为后续选题提供关于被试能力水平的初步定位信息。在CD-CAT中，初始阶段的题目的主要功能应该也是为后续选题提供初步定位信息。但CD-CAT的定位信息主要是关于被试属性掌握模式的信息。涂冬波、蔡艳和丁树良（2012）的研究结果认为，在CD-CAT的初始阶段，基于属性可达矩阵选择题目能够为后续选题提供关于被试属性掌握状态的较好的定位信息。

其实，颜远海、丁树良和汪文义（2011）与彭亚风等人（2016）的研究结果均认为，在对被试属性掌握模式的整个判断过程中，根据属性可达矩阵进行选题是保证判别分类结果精确性和高效性很好的原则。当然，除了题目的属性组合模式之外，题目的测量学参数也是影响测量结果精确性和高效性的关键因素。

二、测验精确估计阶段的选题策略

测试结果的高效性和精确性是选题策略关注的焦点，测试结果的精确性主要是通过信息量大小来进行衡量的。在参数的精确估计阶段，指导选题策略的信息量指标有很多种，下面介绍几种受到较多关注的信息量指标。

一是基于KL散度（Kullback-Leibler divergence，请参见后文详解）的选题策略，即根据被试当前属性掌握模式的估计值，每次从题库或剩余题库中选择使KL散度最大的项目施测。我们在很多文献中已经习惯将KL散度与KL信息量混合使用，KL散度是两个概率分布之间的偏离程度。对于两个离散变量概率分布P 和Q ，KL散度定义为：

对于两个连续变量概率分布P 和Q ，KL散度定义为：

在认知诊断计算机化自适应测验中，P 和Q 一般就是项目反应函数。具体应用KL信息量于CD-CAT中选题的规则如下：

假设已给被试施测了t 个项目，获得其当前属性掌握模式的估计值为 。接下来，将在剩余题库中选择项目r 作为下一个测试项目。由于被试i 的真实属性掌握模式还未知，记α c 为该被试可能的属性掌握模式。KL散度定义为：

X r 是被试i 在项目r 上的得分，取值0或1。在认知诊断评价中，α c 的可能取值是有限的，于是，许等人（Xu，Chang，& Douglas，2003）提出将基于α c 的所有可能取值计算的KL散度累加起来如下：

K 为测验属性个数。项目r 作为下一个测试项目的规则就是，它能够使 的取值达到最大。这种算法就是KL选题策略。

二是基于香农熵（Shannon entropy）的选题策略（SHE），根据被试当前属性掌握模式的估计值，每次从题库或剩余题库中选择使香农熵最小的项目施测。对于有n 种可能取值的离散型随机变量X，香农熵的定义为：

P （x i ）是变量X取值为x i 的概率，b 的取值可以是2、10或其他值。由上式可以看出，当X 的某个取值概率为1，而其他取值概率为0时，会令累加和达到极小值0；而当所有取值的概率趋于相同时，将使H （X ）达到极大值。当两个事件X 和Y 的取值分别为x i 和y j 时，可以定义条件熵（conditional entropy）如下：

具体应用香农熵于CD-CAT中选题的规则如下：

假设属性掌握模式α 的先验分布为g ，在给被试i施测了t 个项目后的后验概率表示为：

U （t） 为被试i 在t 个项目上的作答结果向量，L （U （t） |α c ）为似然函数。在认知诊断评价中，α c 的可能取值是有限的。于是，基于后验概率的关于属性掌握模式α c 可能取值的香农熵表示为：

K 为测验属性个数。

在给被试i 施测了t 个项目后，从剩余题库中选择项目r 作为下一个测试项目的规则就是，该项目能使下式的取值达到最小化：

X r 为被试i 在项目r 上的作答结果，取值0或1。

三是基于互信息（mutual information）的选题策略（MI）。对于离散型随机变量X和Y，互信息定义如下：

P （x，y ）是随机变量X 和Y 的联合概率函数，P （x ）和P （y ）分别是随机变量X 和Y 的边际概率分布函数。对于连续型随机变量，只要将累加形式改为积分形式即可。

根据互信息的定义，它反映了变量X 和Y 之间信息共享的程度，如果X 无法给Y 的定义提供任何信息，那么，X 和Y 就是相互独立的，互信息函数等于0。如果知道X 就能知道Y ，说明两者信息共享达到完美。互信息是非负的，且对X 和Y 是对称的。

四是基于GDI指标的选题策略（generalized deterministic inputs，noisy “and” gate（G-DINA） model discrimination index（GDI），Kaplan，de la Torre，Barrada，2015）。GDI指标表示了不同属性掌握模式在某个项目上正确作答概率的变异度。用 表示项目j测量的属性个数， 表示缩减后的属性掌握模式， 。比如，一个测验项目的属性向量是（1，1，0，0，1），包含5个属性，即K =5，在缩减后， ， 。 表示 的概率， 表示掌握模式为 的被试在项目j 上的正确作答概率，对于项目j ，GDI指标定义为：

其中， 为平均正确概率。GDI测量了某个项目区分不同属性掌握模式（缩减的）正确作答概率的程度。当不同属性掌握模式在项目上的正确作答概率一致时，即 ，GDI最小。因此，GDI指标越大，说明项目越能区分不同的属性掌握模式。在CD-CAT选题过程中，从题库中选择能够使GDI指标最大的项目进行测试，同时，用属性掌握模式后验概率代替 。

在构建GDI指标时将属性进行了缩减，对于某个项目来说，只是从形式上减少了需要计算的属性掌握模式数量，如上例中，需要累加的量就从2 5 减少到了2 3 ，并不会从实质上改变属性掌握模式的内涵。

许多研究者在这些信息量指标的基础上进行了改进，以提高选题过程的效率和诊断结果的准确率。

程（Cheng，2009）提出了基于后验概率加权的KL信息量的选题策略（PWKL）。相对于KL信息量选题策略，PWKL给KL信息量增加了不同的权重，权重是属性掌握模式的后验概率。

程还提出了基于后验概率和属性掌握模式距离加权的KL信息量的选题策略（HKL）。相对于PWKL选题策略，HKL选题策略的区别在于权重不同，HKL选题策略同时考虑后验概率和属性掌握模式之间的相似性来对KL信息量加权。

卡普兰、德拉托尔和巴拉达（Kaplan，de la Torre，Barrada，2015）又在PWKL选题策略的基础上对其加权模式进行了改进，提出了改进后的MPWKL选题策略。

研究者对各种选题策略的应用进行了深入比较，不过，这些比较研究都使用了特定的认知诊断模型，比较的结果是否可以推广到其他认知诊断模型，还有待进一步探讨。

第三节 认知诊断计算机自适应测验的其他主题

一、被试属性掌握模式估计

被试属性掌握模式估计方法有多种，如极大似然估计法（MLE）、极大后验估计法（MAPE）、贝叶斯期望后验估计法（EAPE）、马尔可夫链蒙特卡洛法（MCMC）等。然而，在认知诊断计算机化自适应测验环境下，一般会使用MLE法、EAP法进行参数估计。具体的参数估计方法，参阅本书前面章节的相关内容。

二、测验终止规则

认知诊断计算机化自适应测验给不同的被试测试不同的题目，但最后总要有一个统一的测验终止的规则。与基于IRT的CAT一样，CD-CAT的终止规则一般也是两种：固定测验题目长度规则和固定被试水平估计精确性标准。

固定测验题目长度规则就是虽然给不同被试测试了不同的题目，但测试的题目数量是固定不变的。固定测验题目长度的方式有两个方面的优势，一是符合大众对测验模式的一贯认知，如果不同被试在测试不同题目的同时，还测试了不同数量的题目，这可能会引起人们的疑惑。另外一个优势主要是在研究中体现的，固定测验长度可以比较不同选题策略的效率。当然，固定测验题目长度规则的不足也是明显的，虽然题库足够大但有限，无法保证每个被试最终的水平估计的精确性一致，特别是在CD-CAT中，可能还会导致不同属性的估计精确性不一致。

固定被试水平估计精确性标准更能体现基于现代测量理论的计算机化自适应测验的优势。在认知诊断计算机化自适应测验中，一般是设定属性掌握模式估计的最大后验概率水平在某一个特定值上，如0.9、0.95等。设定的最大后验概率水平越高，被试的属性掌握模式估计越稳定精确，当然，这也需要消耗更多的题目量。卡普兰、德拉托尔和巴拉达的研究结果认为，题目质量会影响测试题目的长度。

三、结果报告

认知诊断计算机化自适应测验最终报告的结果一般包括测验属性的解释、被试在各个属性上的掌握状态剖析、补救教学建议等内容。现在，也有研究者在结果中报告基于IRT的能力水平估计值，以及基于该能力估计值的导出分数，以反映被试整体水平在群体中的位置。

第四节 题目在线更新

题目在线更新本来并不是计算机化自适应测验的必要功能模块，但是随着题目更新对题库维护的作用越来越重要，加上CAT在数据采集方面的独特优势，题目在线更新功能将成为CAT系统中具有巨大附加值的模块。

一、题目内容更新

题库在使用的过程中，有些题目的内容可能已经不适合新的情境了，题目的参数可能也会随着测试总体的发展而发生变化，另外，随着题库使用率的提高，也需要增加新的题目。题目在线更新主要涉及两个方面的问题：一是题目内容更新，包括增加新题和对已有题目内容的修订；二是题目参数的在线标定，同样包括对新题参数的标定和对已有题目参数的重新校准。

题目内容的更新主要涉及的是计算机软件设计技术问题，从功能上保证题目内容更新过程的可用性和便利性。

CD-CAT题目参数的在线标定与IRT-CAT的题目参数在线标定并没有什么本质的不同，但CD-CAT题目参数的在线标定包括了题目的测量学参数和题目属性的在线标定，主要涉及两个方面的问题：一是数据的采集方式设计；二是参数的在线标定方法，两者的目的均是为了保证题目参数标定的精确性。

二、在线标定数据采集方式设计

关于数据的采集方式，主要是考虑如何将题目分配给被试作答，包括随机分配和自适应分配。随机分配就是将新题目随机分配给不同的被试，而且题目在测试过程中的位置也是随机插入的，随机分配完全没有体现现代测量理论数据采集的基本要求和优势。自适应分配就是尽量预先获得关于题目参数的初步估计值，如通过领域命题专家标定或通过部分作答数据获得初步估计值，然后自适应地分配给相应水平的被试，正如自适应地估计被试水平一样，通过自适应的方式分配题目也可以节省采集的被试样本容量。当使用部分作答数据对题目参数进行初步估计时，被试的选择就显得非常重要。当前研究者主要关注的是如何设计测验以更好地诊断被试属性掌握模式，关于如何为估计题目参数而选择被试的研究还未受到关注，也许我们可以借鉴认知诊断计算机化自适应测验的设计模式。在CD-CAT情境下，被试属性掌握模式和水平可以通过旧题的施测估计出来，于是可以在这个基础上选择合理的被试进行测试，按照一般规律，应该选择不同属性掌握模式的被试，但在每单个属性上的掌握模式应该从整体上进行平衡，当然，这种模式还需要经过实验论证。

数据采集方式需要考虑的另外一个问题与参数标定方法的使用有关。如果参数标定时需要进行等值，那么，数据采集过程中就需要考虑等值的设计要求。在线标定中的等值设计模式是，一组被试作答的旧题中会包含一定数量的锚题，再加上部分新题。在采集了足够的作答数据后（被试能力值会在各自的CAT测试结束时用所有旧题估计得到），用条件估计方式同时估计锚题和新题的参数，然后通过锚题新参数与题库中的已有参数建立等值关系，将新题参数等值到题库的参数单位系统上去。基于等值设计的在线标定方法由于通过锚题进行了参数校准，因此能够保证新题参数不会受到具体被试样本带来的误差的影响，但这种方法需要给一组被试插入一定数量的锚题，会影响自适应过程的实施。

每个被试测试应该插入多少个新题为宜，这个似乎没有统一的标准，应该是在保证精确估计被试水平的前提下，以不引起被试疲劳效应为主。

三、参数的在线标定方法

参数的在线标定方法讨论的是采集了作答数据后，如何估计新题的参数。一般情况下，新题的参数标定会经历两个参数的条件估计过程，一是基于所有旧题估计被试水平参数，二是基于估计的被试水平参数来估计新题参数。这两个估计过程的具体实施由于数据采集方式的不同而不同。在等值设计的情形下，基于估计的被试水平参数估计新题参数后，新题并不直接进入题库，而是要经过一个等值的环节之后才进入题库。在没有等值设计的情形下，基于估计的被试水平参数估计新题参数后，新题将直接进入题库。有的研究者担心这种标定方式会导致新题参数由于被试样本而产生漂移（scale drift）。其实这种担心是没有必要的，只要保证被试样本分布合理、容量足够，且被试水平估计精确，那么，就不会产生明显的参数漂移现象，陈和辛（Chen & Xin，2012）的实证研究也证明了这一点。

喻晓锋等人（2015）提出了一种基于似然比的题目参数估计和验证方法，使用该方法可以同时对题目属性进行定义和对参数进行标定。作者认为该方法可以直接用于认知诊断计算机化自适应测验的题目在线更新。本书的前面章节已经对该方法进行了详细介绍。

本章小结

计算机化自适应测验是基于现代测量理论的最有特色的应用技术。它让测验的过程更加人性化、更加高效、更加安全、更加准确。

计算机化自适应测验编制主要包括题库建设、给被试自适应选题、测验终止和结果报告。实施计算机化自适应测验最主要的困难是题库建设和自适应选题策略。自适应选题策略已经研究得比较深入，而题库建设是一个比较耗时、耗力的过程。

题库的在线更新是计算机化自适应测验研究中的一个附加领域，具有传统题目更新技术无法比拟的优势。

思考题

1.请思考认知诊断计算机化自适应测验中各种选题策略的具体应用过程。

2.请思考题目在线更新的具体过程和策略。

第十章 认知诊断评价理论其他专题

摘要：随着认知诊断评价理论受到越来越广泛的关注，围绕认知诊断评价理论各种专题的研究也蓬勃发展。然而，由于认知诊断评价理论的整体发展历程还比较短，仍然有部分领域还未得到深入的研究。本章将介绍几个对于认知诊断评价理论来说非常重要但却未得到广泛深入研究的主题，以期得到更多研究者的关注。

认知诊断评价理论因其明显优势而受到越来越多的关注，但是由于其发展的历史比较短，许多主题还没有得到广泛深入的研究。有些主题是认知诊断评价理论研究中不可缺少的内容，本章将对信息量和等值两个主题内容进行简单的介绍。

第一节 信息、信息熵、信息量

信息（information）是很抽象的概念。信息是事物及其属性标识的集合。信息能够帮你逐渐解开头脑中的疑团，消除你对某个事物认识上的不确定性，并由不确定性逐渐变成较为确定或确定。获得的信息越多，你对事物的了解就越全面，越准确。

信息源是信息的源泉或产生待传送的信息的实体，是提供信息的载体，它无处不在。信息源所涉及的范围十分广泛，不仅包括所有的知识，还包括通过我们五官感觉到的一切。任何事物都可以作为信息源。信息接收者（信宿）是信息的归宿。信息通道负责将信息源信息传送给信息接收者。

一、信息熵与互信息

信息是一个相对的概念，它自身不能单独存在，必须依附于一定的载体，而且还要和信息接收者及它所要达到的目的相联系，这样才可成为信息。信息论创始人香农（C.Shannon）于1948年从信息接收者的角度定义：“信息是能够协助信息接收者消除事件不确定性的因素。”因此，信息的价值和大小首先应该是与信息源本身的特性有关的，同时还与具体的认识目的相联系，它应该能够为认识某个特定事物提供线索，另外，信息的传播途径应该也会影响它的最终价值。

那么，如何来衡量信息的价值大小呢？人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。从信息源的角度来说，依照信息论的认识，在日常生活中，极少发生的事件一旦发生是很容易引起人们关注的，如发生海啸，而司空见惯的事件并不会引起人们的注意，如太阳又从东方升起。也就是说，极少发生的事件所带来的信息价值越大。如果用统计学的术语来描述，就是发生概率小的事件信息量多。因此，事件发生的概率越小，信息量越大，即信息量的多少是与事件发生频率（即概率大小）成反比的。

1948年，香农提出了“信息熵”（information entropy）的概念，是信息论中衡量某个事件自身信息大小的重要指标，也称香农熵。对于有n 种可能取值的离散型随机变量X ，香农熵的定义为：

P （x i ）是变量X 取值为x i 的概率，b 的取值可以是2、10或其他值。

信息量与信息熵在概念上是有区别的。信息熵是描述信息源本身统计特性的测量，它表示信息源的不确定度，不管有无接收者，它总是客观存在的量。信息接收者从作为发送者的信息源中获得的信息量是一个相对的量。信息量是指从多个可能事件中选出一个事件所需要的信息度量或含量。在信息论中，认为信息源输出的消息是随机的，即在信息接收者未收到消息之前，不能肯定信息源到底发送什么样的消息。而通信的目的就是使信息接收者在接收到消息后，尽可能多地解除接收者对信息源所存在的疑义（不确定度），这个被解除的不确定度实际上就是在通信中所要传送的信息量。因此，接收到的信息量在无干扰时，在数值上就等于信息源的信息熵。信息熵是状态量，其存在是绝对的；信息量是熵增，是过程量，是与信息传播行为有关的量，往往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信息源的平均不确定度，它具有相对性。

对于信息熵和信息量的说明须引入互信息（mutual information，MI）的概念。在概率论和信息论中，互信息是用于描述两个随机变量之间相互依存关系的测量。具体来说，就是一个随机变量可以通过另一个随机变量获取的信息大小。对于离散型随机变量和，互信息的定义如下：

其中，P （x，y ）是随机变量X 和Y 的联合概率函数，P （x ）和P （y ）分别是随机变量X 和Y 的边际概率分布函数。对于连续型随机变量，累加形式替换为积分形式，定义如下：

这时，P （x ，y ）是随机变量X 和Y 的联合概率密度函数，P （x ）和P （y ）分别是随机变量X 和Y 的边际概率密度函数。 测量了反映变量X 和Y 相互依赖性的联合分布（分子）相对于假设两个变量之间相互独立条件下的联合分布（分母）的关系。如果两个变量相互独立，那么，分子会等于分母，该项取对数后就会等于零。

因此，互信息反映了随机变量X 和Y 共享信息的程度。也就是已知一个变量的条件下，能够消除关于另一个变量的不确定度的大小。如果变量X 和Y 相互独立，那么，X 对于了解Y 不会提供任何信息，反之亦然，这时两个变量之间的互信息为0。而当变量X是变量Y的确定性函数或变量Y 是变量X 的确定性函数时，那么两个变量之间共享所有信息，通过X 就能够完全了解Y 。其实在这种情形下，变量X和Y的互信息就等于各自的信息熵。

根据以上描述，互信息还可以描述如下（具体推导过程请参看相关文献资料）：

式子中，H （X|Y ）和H （Y|X ）称为条件熵，它表示已知Y （或X ）以后，对X （或Y ）仍存在的不确定度；与互信息相对应，有时候也称信息熵H （X ）或H （Y ）为自信息（self-information）或边际熵；H （X，Y ）称为联合熵（joint entropy），定义如下：

互信息具有以下三个基本性质。

①非负性：I （X；Y ）≥0，即H （X ）＞H （X|Y ），仅当变量Y 与变量X 统计独立时，互信息才为0。

②互信息不大于信息源的熵：I （X；Y ）≤H （X ），即接收者从信息源中所获得的信息必不大于信息源本身的熵。

③对称性：I （X；Y ）=I （Y；X ），即Y 隐含X 和X 隐含Y 的互信息是相等的。

描述信息贡献关系及其大小的方式还有很多种。除了上面介绍的信息熵、互信息以及本书前面介绍的AIC统计量、BIC统计量和DIC统计量外，下面再介绍几种在心理测量学理论中比较常见的一些有关衡量信息量的概念。

二、自信息

上面已经提到自信息（self-information）的概念，然而，与自信息的规范的定义有些差异。自信息反映了对某个随机变量进行抽样时的惊异度（surprise）。如果信息接收者预先完全掌握了接收的信息，那么，当你再次传递该信息时，对信息接收者来说就没有任何信息价值了。只有当信息接收者对即将接收的信息不完全了解时，该信息才有价值，才会产生惊异。自信息用来衡量某变量中单一事件发生时所包含的信息量的多少。

对于某变量X ，事件x i ∈X ，其发生概率为P （x i ），那么该事件的自信息定义为：

由此可知，事件x i 发生的概率越小，那么，当该事件真实发生时，其传递的自信息量就越大。因此，自信息有时可叫惊异（surprisal）。

对于离散型随机变量，某个事件的自信息的期望（expected value）就是信息熵，它反映了对一个随机变量进行抽样时产生的平均惊异（不确定度）。有时候，信息熵本身也会叫自信息，这可能是因为信息熵满足以下条件：H （X ）=I （X；X ），I （X；X ）代表了变量X自身的互信息。

三、KL散度

KL散度（Kullback-Leibler divergence，相对熵，relative entropy，S.Kullback & R.Leibler，1951） 是用于描述两个概率分布差异的一种方法，它描述了某概率分布拟合理论真实概率分布的程度。概率分布Q 拟合理论真实概率分布P 的KL 散度一般表示为D KL （P‖Q ）。从贝叶斯推理理论来说，D KL （P‖Q ）可以表示用后验概率分布P 代替先验概率分布Q 所获得的增量信息，也就是当用Q 来估计P 时可能带来的信息损失量，在这里，P 代表了真实的数据观察，而Q 代表了一个理论估计或P 的近似估计。在信息论中，D KL （P‖Q ）表示当用概率分布Q 来拟合真实分布P 时，产生的信息损耗。

对于两个离散变量概率分布Q 和P ，KL散度定义为：

对于两个连续变量概率分布Q 和P ，KL散度定义为：

KL散度有几个重要的性质：①KL散度是非对称的，这意味着D KL （P‖Q ）≠D KL （Q‖P ）；②非负性，即D KL （P‖Q ）≥0；③即使对于连续变量，KL散度仍是良定义的（函数关系无歧义），参数转换也不会改变其性质；④对于独立分布，KL散度是可累加的。

四、Fisher信息

假设一批样本数据来自某一个分布，未知参数θ 定义了该分布，那么，我们就可以利用样本数据中蕴含的信息来估计该未知参数。这时候，一个自然的问题就是：对于估计这个未知参数，这批样本数据能够提供多少信息呢？Fisher信息就是用于衡量这样的“信息”关系。

我们以f （x ；θ ）表示以θ 取值为条件的x 的概率密度函数，这也就是关于θ 的似然函数，也就是当给定θ 的某个取值时，获得观察数据x 的概率。如果随着变量θ 取值的变化，f 函数分布的形态非常高耸，那么，我们就能够很快、很容易地发现和确认函数极值及其对应的未知参数的真实估计值，这也说明这批数据能够给未知参数提供较大的信息量。如果似然函数f的分布形态非常扁平，这时，为了获得关于未知参数θ 的稳定的估计值（小的估计误差，大的信息量），我们就必须增加大量的样本数据。由此可以发现，未知参数θ 的估计似乎与某种方差量有关。

对数似然函数对未知参数θ 的一阶偏导叫作Score函数，记为 。

Fisher信息一般用I （θ ）表示，Fisher信息就定义为Score函数的二阶矩，即I （θ ）=E [S （x；θ ） 2 ]，于是可知，Score函数的绝对值越大，Fisher信息越大。

在一定的正则条件下，Score函数一阶矩（期望）会等于0，即E [S （x；θ ） 2 ]=0，于是10-9式就自然成立：

根据上式，Fisher信息也可以定义为Score函数的方差。同时还知道其取值范围为0≤I （θ ）＜∞。

如果对数似然函数log f （x；θ ）二阶可导，在一定的正则条件下，Fisher信息还可以写为：

于是，Fisher信息可以被解释为对数似然函数曲线的曲率。如果通过对数似然函数曲线来进行直观解释，在极大似然估计值附近，大的Fisher信息意味着函数极值附近的曲线形状显得比较高而尖，而小的Fisher信息意味着极值附近的曲线形状比较扁平，也就是说，会有更多未知参数估计值的似然函数值与极值非常接近。

如果数据是由n 个参数来定义的，那么，未知参数θ 就是一个n ×1的向量，即θ =[θ 1 ，θ 2 ，…，θ n ] T ，这时的Fisher信息就是n ×n 阶的Fisher信息矩阵（FIM），矩阵中元素为：

FIM为n ×n 阶的半正定对称矩阵。在一定的正则条件下，FIM元素也可以表示如下：

如果FIM矩阵中的第i 行第j 列元素为0，那么，我们就认为参数θ i 和参数θ j 相互独立，是正交的。在这种情形下，他们的极大似然估计值就是相互独立的，我们就可以对这两类参数分开进行独立估计，这可以大大简化参数估计的复杂度。

柏努利（Bernoulli）试验是只有两种可能结果的试验。记X 为一个柏努利试验，其中一种结果发生的概率记为θ ，X 试验的Fisher信息计算方式为：

由于Fisher信息是可加的，因此，n次独立的柏努利试验的Fisher信息表达如下：

五、Fisher信息与相对熵KL散度之间的关系

设有概率分布族f （x；θ ），θ 为定义分布的参数。那么，属于同一分布族的两个分布之间的KL散度可以表示为：

如果θ 已知，那么，当θ′ =θ 时，上面定义的KL散度将达到最小的0（KL散度是非负的）。

而Fisher信息矩阵可以表示如下：

Fisher信息表示了KL散度的曲率。

六、香农熵与相对熵KL散度之间的关系

与前文的表示方法一致，香农熵与KL散度的关系可以表示如下：

式子右边表示为了从N 个等概率的均匀分布P U （X ）中而不是P （X ）中识别X 需要增加的信息量。P （X ）表示X 的真实分布。

七、互信息与相对熵KL散度之间的关系

与前文的表示方法一致，互信息与KL散度的关系可以表示如下：

式子右边表示两个边际概率分布与其联合概率分布之间的散度。

八、条件熵与相对熵KL散度之间的关系

与前文的表示方法一致，条件熵与KL散度的关系可以表示如下：

式子右边表示为了从N 个等概率的均匀分布P U （X ）中而不是P （X|Y ）中识别X需要增加的信息量。P （X|Y ）表示X的真实分布。

第二节 等值和垂直量表化

在已有的认知诊断评价研究文献中，极少涉及测验等值问题的研究内容。等值在此难道是个不必要和不重要的问题吗？只要是需要对不同测试情形下的被试得分或测验进行比较，那么，等值就是一个必需的过程。在大规模评价项目中，对不同测试情形下的结果进行比较是非常重要而又非常常见的，因此，等值的问题应该得到关注。

在认知诊断评价理论框架下，被试典型的得分模式表现为离散的属性掌握模式，这与经典测量理论和项目反应理论框架下的被试得分模式不同。另外，项目参数包括属性模式和题目及属性参数，这些参数的类型与项目反应理论的参数也存在差异，参数之间的等值转换模式还没有得到研究。

基于认知诊断评价理论及其模型的等值研究非常少，还没有成熟的等值方法得到广泛认可。但还是需要让研究者们理解关于等值的概念及其基本逻辑过程。因此，本书介绍了相关的内容，希望能够引起大家的关注，并在此基础上对认知诊断评价理论架构下的等值问题进行深入的研究。

本章内容首先需要解释清楚几个在中英文文献中经常出现的相关概念。虽然有些作者可能会使用不同的术语，但进行一些界定是必要的，至少让读者可以明白出现这么多不同的用语，是因为在实际研究中存在许多不同的具体测量情形。

量表化（scaling）是测量学中一个最基础的概念。测量的目的就是要给被试某方面的心理特质指定一个值，而对这个值的大小的意义解释就需要依赖于某个度量单位系统。量表化指的就是建立统一的具有可比性（comparability）和参照性（reference）的度量（scale）系统的过程。“scale”这个单词有尺子的意思，如用于量身高的工具叫“scale”，用于称体重的工具也叫“scale”，而我们心理学中广泛使用的用于测量心理特质的量表也叫作“scale”，心理量表是用于测量心理量的工具，将被试在心理量表上的得分对照常模参照表（即统一长度）就可以判断他在总体中的位置，以及这个得分意味着什么，而能够对被试得分进行这种解释。量表与一般的非标准化调查问卷是不同的，未经过标准化的调查问卷就只能评价当前参与测试的样本群体的相对位置。量表化总是针对某种特质或某个相关特质领域进行的。量表化的途径非常多，如读者非常熟悉的经典测量理论中介绍的各种测量常模的建立。为了建立统一度量系统的量表化过程可能会使用很多测量数据转换方法，如链接、等值、校准、一致化等。

链接（linking）这个术语在使用时，经常会代表两种意义：一种是包含建立两个测验之间各种关系的过程，如等值、校准、预测；另一种是指代相对比较狭窄的范围，一般是指建立两个测量目标相同的测验之间的比较系统，而且，虽然这两个测验有相同的目标或者结构（construct），但是，测验之间的难度分布、信度指标可能都不一样，有人又称这种情形为校准过程。不过，在大多数学者的认识中，链接一般指的是第一种意义，本书关于链接一词的使用一般也是指第一种意义，而第二种意义使用下面将要介绍的“校准”一词来指代。

等值（equating）这个术语一般是指建立两组或多组平行测验之间的比较系统的过程。所谓平行测验是指若干不同测验，这些测验的编制过程、测试过程和解释过程几乎按照相同的严格界定进行，测验的范围相同、测验的具体章节内容相同、测验题型和计分规则相同、测试条件和过程相同、测验难度等计量学指标分布相同。

校准（calibration）这个术语是指建立两个结构相同，但难度分布或信度指标可能不一致的测验分数之间的统一分数量表。比如，为了追踪了解小学生在数学课程上的进步状况，需要建立不同年级间数学分数的比较系统，以便了解当某个学生从三年级升入四年级之后，其数学水平是否得到提高，这种比较关系的建立过程就是垂直量表化（vertical scaling）。在这种情形下，不同年级的数学测验虽然目标领域是一样的，但测验难度分布却是不一样的。另外一种实际情形就是，由于某智力测验完整版的测试时间太长，容易导致被试作答疲劳，因此同时编制了一个简缩版，简缩版与完整版所测量的结构是一样的，题型也是一样的，难度分布等统计学指标也保持一致，只是题目量减少了。随着题目量的减少，测验的信度指标也就发生了变化，测验开发者当然希望建立完整版测验与简缩版测验分数之间的比较关系，这样才能让使用者无论作答了哪个测验，均能得到相似的结果解释，这个关系的建立过程也叫作校准。

一致化（concordance）这个术语一般是指建立两个测量目标相近（similar）的测验之间的比较关系。所谓测量目标相近，就是测验目标内容之间有较高的相关，但却并不完全一样（identical）。比如，建立韦氏智力量表分数与瑞文测验分数之间的比较关系的过程，就可以称为一致化过程。

调谐（moderation）一词一般是指两个测量目标或结构不同的测验上的分数建立比较关系的过程。其中一种典型的设计方法是，两个测验通过分别建立与第三个测验（调谐测验）之间的关系，来达到相互比较的目的。典型的过程是，一组被试作答第一个测验与调谐测验，另外一组被试作答第二个测验与调谐测验，这种设计可以对两组被试在不同测验上的得分进行比较。另外一种更简单的设计，就是两个测验施测于同一批被试或两个随机等组的被试，从而建立两组分数之间的等值关系，这个其实就是观察分数等值方法。

预测（projection）一词一般指的是在两个测试不同目标或结构的测验之间建立分数的比较关系的过程。在建立比较关系时，预测一般是用一个测验上的得分去预测另一个测验上的得分，具体的方法通常是用回归分析（regression analysis）建立同一组被试在两个测验上的得分之间的关系。

调谐和预测两种方案所处理的测验一般都是测量不同的目标或结构。比如，一般能力倾向测验经常是以分测验（subtest）的形式成组编制的（test battery），每个分测验所测量的结构之间有很大的差异，但是通过这种测验，可以了解被试在不同领域之间的优势和劣势。当然，在编制这类测验时，需要考虑分别建立总测验和各个分测验的比较系统，以便比较被试在不同分测验上所处的位置。另外，通过调谐这种方案所建立的分数比较关系是对称的，但通过预测这种方案所建立的比较关系却不是一一对称的。

为什么文献上会出现这么多相关术语，就是因为对测验进行量表化时可能会涉及各种不同的情形，以及量表化的目的可能不同。科龙和布雷南指出，在对测验进行量表化时，至少需要对以下四个方面的情形特征加以考虑。

①推断（inferences）：在根据被试两个测验上的分数所蕴含的意义进行推断性解释时的相似性程度。如果在做出推断性解释时的相似性程度越高，那么，这两个测验所测内容结构就应该非常一致，适应的参照总体也越相似，测试条件也应该一致。那么，相应的量表化方法也应该越严格。

②结构（constructs）：两个测验所测结构和内容的相似性程度。相似性程度的高低会影响我们应该选择什么样的量表化方法。

③总体（populations）：两个测验测试的总体及解释所参照的总体的相似性程度。

④测量条件（measurement conditions）：两个测验测量条件的相似性程度，如测验长度、测验模式、施测条件等。

根据这些情形条件的不同，在进行量表化时就可能需要使用不同的方案和方法。比如，对于“等值”所处理的情形，应该是两个测验经等值后的分数可以进行相同的推断解释，两个测验测量了相同的特质结构，测验结果解释的参照总体相同，在相同的测量条件下进行施测。对于“一致化”所处理的情形，就要求两个测验测量的特质结构相似，测量条件相似，相同的测验分数可以进行近似的推断和解释，测验结果解释的参照总体相似。而对于我国分省高考的情形，测试的结构可能存在很大差异，施测的条件存在差异，测验分数的参照总体存在差异，两省高考之间相同的测验分数不能进行相似的推断。当然，我们还是希望能够建立不同省份之间高考分数的比较关系，只是需要应用不同的量表化方案。

虽然有这么多的术语，它们分别代表了不同的应用情境，它们之间有着不同的具体目标，但最后的目的是一样的，那就是建立不同测验分数或不同被试群体之间比较系统的关系，即进行统一量表化。而且有些量表化方案在具体实施时，可能会使用相同的数据采集设计方式，甚至使用相同的数据统计分析方法。比如，垂直量表化和等值在数据采集设计和建立比较关系的统计分析方法上就有许多相同或相似之处。

下面的内容主要是关于等值的设计模式及等值转换方法的介绍。在国内，关于等值概念的应用似乎比较宽泛，基本与这里讲到的链接（linking）一词的指代范围一致。本章以下内容将会遵照国内的传统叫法，只是读者自己需要明白各种情境下的等值需要注意的问题，并逐步建立自己关于量表化概念、方法的正确认识和交流习惯。等值一般包括被试分数等值、被试能力水平参数等值和项目参数等值。本章最后还会讲到现在及将来在教育及心理评价中具有非常重要应用价值前景的垂直量表化（vertical scaling）或叫垂直链接（vertical linking）的模式和方法问题。

一、等值

等值是将测量同一心理特质的不同测验分数或项目参数，通过一定的设计和数学模型，转换到统一的单位系统中去的过程。

等值是进行大规模评价中经常用到的测量技术。在大规模评价活动中，经常会用到多个测验测量不同的被试群体，但是，又希望最终的测试结果是可以进行相互比较的。在我国，高考应该是较大规模的全国统一考试，现在是各个省份进行自主命题考试，虽然考试大纲是统一的，但不同省份命制的具体题目千差万别，如果不进行等值设计，各个高校在招生时就只能按照在各省分配名额的方式进行，因为各省考试分数之间不可比较。现在，我国也开始重视教育质量进步的评价问题，除定性分析之外，用测试分数进行评价应该是一个重要手段，教育质量进步评价涉及纵向评价问题，而根据不同年份的不同测验结果如何能够评价学生成绩的进步情况呢？这也需要进行等值设计，以保证测验分数的可比性。

另外，考试安全是考试组织者最为关心的问题之一，为了保证考试的安全，组织者几乎想尽了各种办法。其实，如果能够建立大型题库，并实行计算机化自适应考试，测试组织者几乎不用花多少心思就可以解决考试的安全问题。有些考试单位已经开始研究尝试建立题库。不过，题库的建设如果离开了项目参数等值过程，这个题库几乎就没有多大价值，至少没有充分发挥它应有的价值。

（一）进行等值的条件

在两个测验之间进行等值必须具备一定的条件。根据洛德的观点，等值一般应当具备以下条件。

1.测验内容同质

洛德认为，测试不同特质（traits）的测验之间不能进行等值。被等值的两个测验必须是测量相同的心理特质或特质领域。对测试完全不同的心理特质的测验进行等值是没有意义的。就像将数学成绩与语文成绩进行比较，这是没有必要的。

2.测验信度相等

洛德认为，不同信度测验上的分数不能进行等值。如果一个不可靠的测验上的分数可以等值到一个可靠的测验上，那么就不用专心去开发可靠的测验了。所以，被等值的两个测验必须有相等的信度水平。测验的信度不同，意味着测验结果的可靠性程度不同，不同可靠性程度的测验进行等值的结果也是不可靠的，两个进行比较的分数也就不平等。比如，一个信度高的测验和一个信度低的测验，在其中一个测验上的90分可能对应着另一个测验上的88分，也有可能对应另一个测验上的92分。

3.测验难度水平相同

洛德认为，不同难度水平测验上的分数不能进行等值，因为不同难度水平的测验，在测量被试能力水平时的信度是不一样的。

4.测验严格平行

洛德认为，只有严格平行测验上的分数才能进行等值。

5.测验可靠

洛德认为，只有完全可靠（reliable）的测验上的分数才能进行等值。

根据洛德提出的以上这些等值条件，下面又有几条延伸的解释性条件。

6.等值过程对称

从x测验到y测验的等值关系，与从y测验到x测验的等值关系，应是互逆的，两个测验上的分数或项目参数的转换结果应该保证是一对一的关系。要做到这一点，就必须保证所有等值测验分数的严格单调性，即更高能力水平的被试无论在哪个测验上的得分总是高于更低能力水平被试的分数，而更低能力水平被试的得分总是低于更高能力水平被试的得分。这就要求等值测验必须做到洛德提到的前五点要求。

7.等值结果公平

考生参加被等值的任何一个测验，得到的分数在等值以后都是一样的。这也要求等值测验必须做到洛德提到的前五点要求，特别是第四点关于测验严格平行的要求。

8.样本不变

两个测验之间的等值转换关系不依赖于某个具体的测试样本。无论选择的样本能力水平分布如何，应该可以得到相同的等值结果。这也要求等值测验必须做到洛德提到的前五点要求，特别是第三点关于测验难度水平相同的条件。

9.等值过程可递推

如果测验x 与测验y 之间有等值转换关系f （x ）=y ，测验y 与测验z 之间有等值转换关系g （y ）=z ，那么测验x 与测验z 之间一定有转换关系存在，h （x ）=g [f（x） ]=z 。这种关系还可以推至更多的测验形式。这就要求等值测验必须做到洛德提到的前五点要求。

许多学者认为，如果测验之间符合以上关系，其实根本就不用进行等值转换，因为同特质、同难度水平、同信度、严格平行、完全可靠的测验分数是可以直接进行比较的。然而，在现实测试条件下，以上条件不可能完全达到，总是需要进行一些校正，于是，这些条件成为我们应该追求的目标。当然现实条件不能偏离标准太远，否则等值结果就没有任何意义。也正是基于对以上条件的认识和现实的测试条件，许多学者建议，这种测验分数转换过程不应叫等值（equating），而称为链接（linking）更加妥当。

（二）等值设计

等值设计是为收集适合进行等值转换的测试数据的工作，主要涉及一般测试中的三个方面的内容：一是测验的设计；二是被试样本的设计；三是测验与被试样本之间的组合模式。

要进行不同测验结果之间的转换，使两个测验结果可以相互直接沟通，就必须首先找到转换的共同逻辑。这就和我们日常中的人际关系一样，如果你想要结识某位陌生人并与他建立联系，经常是通过中间介绍人进行联系，或者是通过某个共同关心的话题进行交流。等值设计的目的就是设计不同测验之间进行沟通的中间媒介。

等值中的基本元素就是测验项目和被试样本，所以，等值的中间媒介也就集中于对这两个元素的设计中。现在经常使用的等值设计模式有以下几种，我们逐一进行介绍。

图10-1 单组设计模式

1.单组设计

单组设计是从被试样本的角度找到不同测验结果之间进行等值转换的沟通模式。这种设计模式就是让同一批被试先后参加两个需要进行等值转换的不同测验，两个不同测验结果之间就通过相同的被试样本建立了联系，具体设计模式如图10-1所示。

从图10-1可以看出，纯粹从形式上看，这种设计模式其实是让一组被试样本参加了一个超长的测验，只是这个测验被分为两个阶段进行。这种设计得到的等值数据最直观、最简单。

单组设计通过让同一组被试参加两个不同测验的方式，消除了测验之间被试样本的能力差异。然而，这种等值设计模式可能会引起两种测试的顺序效应：练习效应和疲劳效应。

因为进行等值的两个测验必须是测量相同的特质领域，所以，第一个测验可能会对第二个测验起到练习的作用，从而提高被试在第二个测验上整体的作答表现，这种整体成绩的提高又会反映在等值转换关系中，导致第二个测验的成绩存在测试的顺序优势。另外，让同一组被试参加两个测验，又有可能引起疲劳效应，特别是测验仅仅是用于研究目的时，被试作答的消极情绪会更加明显，这就可能降低被试在第二个测验上整体的作答表现。同样，这种整体成绩的降低也会反映在等值转换关系中，导致第二个测验的成绩存在测试的顺序劣势。顺序优势和顺序劣势能否相互抵消呢？它们是否对每个被试的影响程度都是一样的呢？如果无法平衡顺序效应，就应该从设计模式上进行必要的改良。

为了消除顺序效应，学者们提出了经改良的单组设计模式——平衡组设计，这种设计模式将同一个被试群体再随机地分成两个子被试组，其中一个子被试组先施测测验1再施测测验2，另一个子被试组则先施测测验2再施测测验1，也就是说，在同一测试时间内，一半被试测试测验1，另一半被试测试测验2。经过这样的改良之后，被试的顺序效应可以得到比较好的控制。

2.等组设计

等组设计也是从被试样本的角度找到不同测验结果之间进行等值转换的沟通模式，这种设计模式是让两个能力分布相同的被试样本组分别参加两个需要进行等值转换的不同测验。由于两个被试组的能力分布相同，因此他们在两个测验上的分数就可以通过这一共同特性建立比较关系。

能力分布相同意味着能力分布的平均数、标准差等各阶动差指标均相同，因此，这两个组的被试应该是来自同一个总体的两个样本。在实践中，为了得到真正的“等组”被试样本，常用的做法有两种：一种是匹配被试组；另一种是随机等组。匹配被试组的做法是，在挑选两个被试样本时，必须成对地进行挑选，每一对被试的特质水平是相同的，最终得到的被试样本不但对总体具有代表性，而且两个被试组被试的水平需要一一对应。随机等组的做法是从同一个被试总体中以随机抽取的方式得到两个被试样本组，由于是完全随机抽取的，因此只要抽取的样本容量足够大，具有足够的代表性，我们就有理由相信这两个样本组被试的特质分布状态是一致的，即这是两个等组被试样本，这种设计模式也称为随机等组设计。从被试样本抽取的要求和过程可以看到，匹配被试组设计要求严格、过程复杂，但等值结果会更加可靠；而随机等组设计要求相对宽松、过程更加简单，但一定要保证更大的样本容量及其代表性，才能保证等值结果的稳定性。

与单组设计模式相比，等组设计的优点在于每个被试只参加两个等值测验中的一个测验，因此，可以消除各种形式的顺序效应。其缺点在于，两个被试样本组必须有相同的“能力分布”这个前提条件，这在实践中比较难以满足。

等组设计的具体模式如图10-2所示。

图10-2 等组设计模式

注：“×”表示该被试未作答该测验，在匹配被试组设计中n 1 =n 2 ，随机等组设计对n 1 、n 2 则没有相等的严格要求，但应该非常接近。

单组设计和等组设计的等值转换关系比较容易得到。

3.共同被试组设计

共同被试组设计，仍然是从被试样本的角度找到不同测验结果之间进行等值转换的沟通模式。这种设计模式就是在参加两个测验测试的两组被试中，有一小部分被试同时参加了两个测验的测试，这一小部分被试就被称为共同被试组（common group）。

共同被试组设计与单组设计有许多共同的地方，只是为了节约人力、时间和管理成本，共同被试组设计希望通过抽取一个典型被试团体作为等值转换的中介。由于项目参数仍然是由全体被试的作答数据共同估计的，因此，该典型团体的被试容量和分布形态就不用像单组设计一样严格要求，但共同被试组应该做到每个被试的典型性，也就是被试总体中的各个特质水平分布区间应该都有代表。

共同被试组设计的具体模式如图10-3所示。

图10-3 共同被试组设计模式

注：“×”表示该被试未作答该测验，在共同被试组设计中，n 1 、n 2 一般会大于n 3 ，共同被试组只是为了建立两个独立组之间的链接关系而抽取的一个典型的代表性样本。

4.锚测验设计

锚测验（anchor test）设计，也叫作共同题（common test）设计，是从测验项目的角度找到不同测验结果之间进行等值转换的沟通模式，这种设计模式是将两个不同的测验分别施测于不同的被试样本组，但这两个测验中分别包含一组相同的题目（共同题）用来作为进行等值转换的中介，这一组共同题目叫作锚测验，两个测验中的非共同题目叫作独立测验（unique test）。在实际的等值设计中，锚测验与独立测验有两种常用的组合模式：内锚设计模式与外锚设计模式。当锚测验中的题目与独立测验中的题目同时施测，并一起参与被试记分时，我们称之为内锚设计模式；当锚测验中的题目不与独立测验同时施测，也不一起参与被试记分时，我们称之为外锚设计模式。当然，不管锚测验是否参与记分，这些题目都将与独立测验中的题目一起参与参数估计过程。

作为两个独立测验进行等值转换的中介，锚测验必须遵循以下原则：①锚测验题目的内容能代表整个测验，锚测验就是整个测验的浓缩版；②锚测验题目的难度指标全距应该足够宽，区分度指标应该至少在中等水平以上；③锚测验题目应该尽量涵盖测验中的所有题型；④为了达到以上要求，同时保证结果的稳定性，锚测验的题目量一般应该达到整个测验长度的1/4至1/3。

锚测验设计对被试样本的要求没有像单组和等组设计般严格，而且锚测验相对于被试样本来说，无论是题目的获取过程，还是测试的过程，都是比较容易控制的，因此锚测验设计的应用更加广泛。

锚测验设计的具体模式如图10-4所示。

图10-4 锚测验设计模式

以上各种等值设计模式各有优势和缺点，从被试样本的角度设计，容易引起诸如练习效应、疲劳效应、消极的应考情绪等问题，从测试项目的角度设计，容易产生题目内容和参数的代表性、题目内容的安全性等问题。因此，研究者在实际进行等值设计时，需要深入分析各种测试条件，了解被试样本的获取及作答动机情况，了解测试内容的分布、题目量及测试过程的安全性。然后，综合设计一种符合实际的等值数据收集模式。

（三）等值转换方法

从实际问题解决的过程来看，等值工作首先要在深入分析各种测试条件的基础上，综合设计一种最符合实际情形的等值数据采集方案。然后，研究考虑一种把两个测验上的作答数据进行转换的技术途径和具体方法。等值设计就是设计等值数据的采集方案，接下来，我们要介绍各种常用的等值数据转换方法。

不论是哪种等值设计模式，等值总是在至少两个测验情境之间进行的。在进行等值转换之前，甚至应该在等值设计之前，还有一项非常重要的工作，就是首先需要确定转换后的分数或参数量表（scale）的单位。这就像我们中国人在听到汽车的速度为每小时50英里（1英里约等于1.61千米）时，可能很多人一下子不知道这个速度究竟有多快，这时就会习惯性地把它转换为公里来进行评价，因为我们平时关于汽车速度习惯使用的参照单位就是公里（1公里等于1千米）。在这里的等值转换也一样，我们需要确定一个合适的参照单位，然后，所有分数或参数都转换到这个参照单位上去进行统一的评价。在等值实践中，我们经常会选择其中一个测验的测试数据作为参照单位系统，这个测验就被称为量表测验（scale test），其他测验的分数和参数都转换到这个测验的单位上来，需要进行单位转换的测验称为原始测验（raw test）。

在选择量表测验时必须遵循一些原则：①量表测验应该是足够稳定的，也就是有比较高的信度；②量表测验的内容对测量目标应该具有充分的代表性；③量表测验中项目难度分布应该合理，一般应该保持与参与测试的被试样本一样的分布形态，区分度指标应该都是在中等以上；④测试样本足够大，以保证测试数据能够获得稳定的被试和项目参数，测试数据能够反映被试样本的真实行为；⑤在有多个测验进行等值时，一般选择难度分布偏中等的测验，而在纵向等值中，则一般选择中间的测验作为量表测验，让两边的测验向中间等值，这样可以减少等值误差的累积。

1.基于经典测量理论的等值数据转换方法

（1）随机等组-线性等值法

随机等组-线性等值法的原理是：由于两个被试组是来自同一个总体的随机样本，因此，他们有完全相同的能力水平分布，据此，这两个被试组在两个测验上形成的得分分布中，分数位置水平相同的被试应该就是能力水平相同的被试，对应的两个分数也就是等值的。

我们已经习惯于用标准分数来表示分数在被试群体中的位置，于是，在两个测验上标准分数相同的分数就是等值分数了，如下式所示：

其中， 和是s x 是测验X 的平均数和标准差， 和s y 是测验Y 的平均数和标准差。通过解这个式子所求出来的y 就是原始测验分数x 在量表测验上所对应的等值分数。式（10-20）可以变形为如下形式：

令：

得到：

式（10-23）就是线性等值转换的常用关系式，a 和b 称为等值转换系数，x 为需要进行转换的原始测验分数，y 为转换到量表测验单位上之后的分数。

这个等值方法可能存在的误差，主要就是原理假设能否成立，也就是样本是否来自同一个总体，他们能否都很好地代表总体。

（2）随机等组-等百分位等值法

随机等组-等百分位等值法的基本原理其实与上面这个线性等值法是一样的，都是基于两个被试组是来自同一个总体的随机样本，他们有完全相同的能力水平分布，据此认为，两个被试组在两个测验分数分布中，位置相同的分数就是等值的。只不过在这里，标志位置信息的是百分等级，而不是标准分数。

对原始测验分数进行等百分位等值转换的具体步骤如下。

第一步：编制原始测验分数和量表测验分数的简单次数及累积次数分布表。

第二步：根据原始测验的简单次数和累积次数分布表，求取某个分数x 的百分等级PR。

第三步：根据量表测验的简单次数和累积次数分布表，求取PR所对应的分数y 。

第四步：原始测验分数的等值分数就是y 。

2.基于项目反应理论的等值数据转换方法

我们首先以三参数逻辑模型为例来认识以下式子之间的关系。首先，根据该模型，有以下关系式同时成立：

三参数逻辑模型为：

如果把式（10-24）至（10-27）代入式（10-28），经化简后，将会得到式（10-29）：

基于项目特征曲线的等值系数估计方法有多种。海巴拉最早提出基于项目特征曲线的等值法。下面介绍的两种等值系数估计方法均基于共同题设计模式（锚测验设计）。

海巴拉方法的等值系数估计过程如下，符号使用也尽量按照海巴拉的习惯。

①选择某个项目反应理论模型，分别独立估计出两个测验的被试参数和项目参数，我们称这两个测验为T 1 和T 2 。

②我们将测验T 1 定为量表测验，测验T 2 上的参数需要进行单位转换。

③为了让测验T 2 上的能力值与测验T 1 上的能力值具有可比性，就必须进行单位量制转换，θ j，1 =β ·θ j ，2+α ，其中，θ 的第二个下标表示测验单位。海巴拉还特别说明，任何非线性形式的量表转换都将违反逻辑模型关于项目特征曲线形式的基本假设。

④完美的等值应该意味着，对于所有的共同题（common item，锚题）i （i =1，2，…，m ）都有：

在这里，参数的第二个下标仍然表示测验单位。

⑤接下来的等值工作，就是找到能使式（10-30）对所有共同题都成立的β 和α 的值。

⑥海巴拉认为，在实际等值工作中，由于抽样误差和模型匹配问题，式（10-30）的两边不可能对所有共同题都能保证完全相等。所以，我们就应该找到使两边的值尽量接近β 和α 的值。于是，需要定义一个反映式（10-30）偏离程度的标准函数（criterion function），并找到使该标准函数最小化的β 和α 值。

⑦对于题目i （i =1，2，…，m ）和被试j （j =1，2，…，n ），定义差异变量：

并定义损失函数来标志各种偏离造成的信息损失，于是，题目i 的等值误差（equating error）可以表示为：

总的等值误差为：

⑧能使Q 值最小化的β 和α 值，就是损失函数L的最佳等值系数估计值。

海巴拉还给出了具体估计β 和α 值的方案：首先对反应函数的差异如式（10-31）进行平方运算，消除正负符号；然后对锚测验项目逐个地求所有被试的反应函数差异平方均值；然后累加所有锚测验项目的差异平方均值；最后估计能使这个累加和最小化的等值系数，求解能使函数最小化的参数的问题，经常会转化为函数对未知参数求一阶导，并令其为0的过程，而解一阶导方程的方法经常就是采用牛顿-拉夫孙迭代方法。具体的求导和解一阶导方程的过程在此就不详细叙述了，有兴趣的读者可以参看相关文献，或者使用现成的程序。

斯托金-洛德基于项目特征曲线法提出了另外一种等值系数估计的方案。斯托金-洛德方法在构建等值方程估计等值系数时与海巴拉方法稍有不同，他们首先定义被试在测验上的真分数为他在所有项目上的正确反应概率之和：

在共同题等值设计中，会有两套独立估计的锚测验项目参数。但是，斯托金-洛德方法认为，只要项目参数经过了单位转换，同一个被试在锚测验的两套已知参数上计算出来的真分数应该是相等的，于是有：

注意，式（10-35）中， 一直是保持不变的，正是基于此，被试能力参数可以是人为独立设置的一批参数，不必用样本估计参数，不过，斯托金和洛德指出，独立设置的参数应该与量表测验有相同的单位。

如果把式（10-35）的第二行记为 ，那么，对于被试j 来说， 的值应该是很小的。于是，斯托金和洛德认为，β 和α 值应该就是能使一组被试的真分数差异平方的平均数最小的估计值，即：

这就是斯托金-洛德方法建构的等值方程，接下来的问题又是找到能使F达到最小时的β 和α 的估计值。问题的解决仍然是转化为函数对未知参数求一阶导，并令其为0的过程，而解一阶导方程的方法仍然采用牛顿-拉夫孙迭代方法。具体的求导和解一阶导方程的过程在此就不详细叙述了，有兴趣的读者可以参看相关文献，或者使用现成的程序。

从以上介绍可以看出，海巴拉方法与斯托金-洛德方法的不同在于，海巴拉方法是基于各个被试在单个项目上的反应函数的差异，而斯托金-洛德方法则是基于各个被试在所有共同项目上的反应函数累加和（真分数）差异。读者在选择时可以任意挑选一个。

3.基于认知诊断评价理论的等值过程

基于认知诊断评价理论的等值研究还非常少，辛和张（Xin & Zhang，2015）研究了认知诊断模型下观察分数的局部等值方法。许和冯戴维研究了基于GDM模型的等值问题。

冯德林顿和威伯格（van der Linden & Wiberg，2010）提出了基于潜在真值的观察分数等值转换方法——局部等值（local equating）法。他们首先假设两个等值测验测量了相同的潜在特质结构，于是有以下观察分数转换模式：

θ 为被试潜在能力水平；F y|θ 是测验Y 上潜在能力水平为θ 的被试的观察分数累积分布；F x|θ 是测验X 上潜在能力水平为θ 的被试的观察分数累积分布。

上式表达的转换过程类似于经典测验等百分位等值转换过程，首先求取某观察分数x 在测验X 上的百分等级，然后对应该百分等级在测验Y上转换回等值分数。当然，这个转换过程的内在逻辑与经典测验等百分位等值有着本质的不同，局部等值是基于潜在真值的转换，而经典测验等百分位等值是完全基于观察分数本身的转换。

辛和张研究了局部等值法在认知诊断模型中的观察分数等值问题。首先，他们假设两个等值测验测量了相同的潜在特质结构，拥有相同的邻接矩阵或可达矩阵，即A x =A y 或R x =R y ，于是两个测验就会有相同的被试属性掌握模式（AMP）集；同时假设相同的被试属性掌握模式代表了相同的被试领域水平。基于此，局部等值法就可以应用于认知诊断模型的观察分数等值转换中。

由于各种误差因素的存在，相同属性掌握模式的被试可能会有不同的观察作答反应模式（ORP）或观察分数（observed score），这些不同的观察作答反应模式或观察分数将形成一个分布。于是有以下观察分数转换模式：

α 是被试属性掌握模式，在实际等值转换过程中，α 可以用估计值代替。

许和冯戴维基于共同题设计研究了应用同时估计策略于GDM模型的等值转换问题。这里简要介绍这个等值策略的主要过程。记两个需要进行等值的测验分别为Y 1 和Y 2 ，且Y 1 测验的参数经过了等值转换，统一到了题库单位系统上，记经过了等值转换后的参数为 。第一步，基于两个测验的作答数据进行同时估计，并将两个测验上的共同题参数设置为相等，这样就可以使两个测验上所有题目的参数固定在相同的单位系统上，同时还可以获得可比较的、在两个测验上的被试能力水平分布的平均数和方差；第二步，获得Y 1 测验在前面第一步得到的参数估计结果与已等值转换后的参数值 之间的等值转换关系；第三步，根据第二步获得的等值转换关系，将Y 2 测验在第一步中获得的参数转换到Y 1 经过了等值转换的参数单位系统 上去。

二、垂直量表化

垂直量表化也叫垂直链接，指的是在某个特质领域内，在纵向发展的不同水平（如年龄、年级）群体之间，建立关于群体或个体特质水平发展状况的评价参照体系的过程。从概念上可以看出，垂直量表化是针对不同年龄或年级被试群体进行的，进行量表化的内容领域是相同的，如一般认知能力、语言能力、数学能力等。量表化的目的是建立不同年龄段或年级段之间的统一量表体系，从而可以评价和发现个体或群体的动态发展水平和趋势。进行垂直量表化的测验对于不同年龄或年级被试来说，虽然测试领域是相同的，但题目的具体内容和难度是不一样的，因此，这样的测验就不能称为平行测验，也就不能通过等值的方法进行统一量表化。不过，在许多进行垂直量表化的方案中，可能会在相邻的两个年龄段或年级段测验之间设置部分共同题目，以便建立测验分数之间的连接关系，这与等值方案中的共同题（锚题）设计思想却又是相同的。

垂直量表化可能会涉及两种不同的被试情形：一种是在同一个时间段内，收集不同年龄段或年级段的被试测试数据，并进行的垂直量表化，不同年龄段之间的被试是相互独立的；另一种则是在不同的时间段，收集同一组被试的测试数据，对他们的特质水平进行的垂直量表化，进行量表化的被试是相同的，只是他们的水平随着时间发展发生了变化。第二种情形下的等值设计本身会比较简单，因为可以直接使用单组不同测验的设计模式，同样可以评价各个被试在不同时间段水平位置的发展变化情况，及整个群体的特质发展状况。然而，第二种情形下的等值时间跨度太宽，不利于数据收集工作。下面讲述的内容主要是针对第一种情形的。

（一）垂直量表化设计

在进行垂直量表化时，一般可能会涉及多个年龄段或年级段。其中一种设计方案是用一个统一的锚测验，也叫量表测验，施测于所有年龄段或年级段的被试，从而建立垂直量表，然后，不同年龄段或年级段的被试在非锚测验上的得分就可以链接到该垂直量表上。然而这种设计方案可能存在问题，因为锚测验中有的题目对于低年龄段或低年级段的被试来说太难了，甚至根本就没有学过，而有些题目对于高年龄段或高年级段的被试来说又太容易了。这两种情形下的题目，对于相应年龄段或年级段的被试水平估计均不能提供任何信息。根据这种想法，锚测验对于不同年龄段或年级段被试的信度就可能存在很大差异，从而导致所建立的垂直量表不稳定。

垂直量表化的另一种设计方案是，先找一个起始年龄段或年级段，首先建立它与相邻年龄段或年级段之间的链接，然后进一步建立该相邻年龄段或年级段与下一个相邻年龄段或年级段之间的链接，以此类推，从而建立起所有年龄段或年级段之间的垂直量表。这种设计方案可能也需要使用锚题，然而，锚题对于相邻年龄段或年级段来说，信息量衰减不会太明显。因此，通过相邻年龄段或年级段建立链接来进行垂直量表化，应该是一个更合理的选择。下面介绍的量表化过程主要就是围绕这种设计模式。

1.共同题设计

这种设计模式与前面等值部分介绍的共同题设计模式本质上是一致的，只是需要链接的被试组别更多，而且相互之间是纵向发展的。具体设计模式参考图10-5。

图10-5 垂直量表化-共同题设计模式

根据这种设计模式，3年级被试组需要作答本年级非锚测验T 3 ，同时需要作答适合3、4年级的锚测验C 3 4，4年级被试需要作答本年级非锚测验T 4 ，同时需要作答两个锚测验：适合3、4年级的C 3 4和适合4、5年级的C 4 5。因此，除了最低年级组和最高年级组，其余各年级组均需要作答2个测验，为了避免被试出现作答疲劳现象，就需要考虑结合下面介绍的随机等组设计。

2.随机等组设计

随机等组的概念与等值部分内容中的概念是一致的，只是对于垂直量表化来说，随机等组是在同一个年级组或年龄组内抽取，而且需要抽取更多个被试组。具体设计模式参看图10-6。

图10-6 垂直量表化-随机等组设计模式

根据图10-6所示的设计模式，除了最低年级组和最高年级组之外的其他年级组均需要抽取3个随机等组被试组，其中一组作答与水平更低相邻年级组的锚测验，一组作答只属于本年级组的测验，另外一组则作答与水平更高相邻年级组的锚测验。而最低年级组和最高年级组只需要作答与其相邻的一个锚测验和一个只属于本组的测验。

根据以上介绍，共同题设计和随机等组设计其实是相互渗透、相互组合的。不管是哪种设计模式，不同年级或年龄水平被试总体之间不可能存在等组设计模式（即使找到等组，也不具有年级或年龄代表性），因此，不同年级或年龄水平之间总是要通过锚测验进行链接。不同年级或年龄组之间的等值转换关系也总是基于锚测验来建立。

（二）等值关系转换方法

根据不同的设计模式，可以运用本章第二节所讲述的等值转换方法，建立不同测验分数之间的等值转换关系。在这里专门介绍一下另一种经常用于垂直量表化的转换方法：瑟斯顿绝对量表法（Thurstone absolute scaling method）。

应用瑟斯顿方法要满足两个严格的假设：①进行转换的被试样本总体服从正态分布；②由潜在特质决定的特质分数是严格单调上升的，也就是潜在特质水平越高，则其观察分数也必定会越高，这样才能保证所有转换关系的一致性。

我们先简要地介绍一下在这两个假设基础上，瑟斯顿绝对量表法涉及的几个基本式子。同时，在垂直等值设计中，不同水平群体必须通过锚测验进行链接。所以，下面叙述的内容情境也是专门参照这种设计进行理解的。如果被试群体水平不同，又没有设计锚测验进行链接，下面式子中的各种变量关系将无法理解。

对于锚测验上某个任意观察分数x，可以分别计算出它在两个被试组得分分布中的位置指标——z 分数：

、 、s 1 、s 2 分别表示两个被试组锚测验得分分布的平均数和标准差。对式（10-40）进行移项，并把x 代入式（10-39）中，可得到：

这个就可以表示为瑟斯顿绝对量表法关于两个被试组的分数之间的转换关系式。如果我们把第一组（变量下标为1者）规定为量表测验组，第二组规定为原始测验组（变量下标为2者），那么，式（10-41）可以表示某个相同观察分数，在原始测验组上的位置转换到量表测验组之后的相应位置。也就是说，式（10-41）可以表示相同观察分数在原始测验组与量表测验组之间的位置对应关系。我们也可以这样来理解式（10-41）表达的意义：在原始测验被试组上处于某个位置的被试，在量表测验被试组中将会处于什么位置。从形式上，瑟斯顿绝对量表法还经常会通过一个等值转换表来呈现，在这个等值转换表中，第一列为观察分数；第二列为观察分数在量表测验上对应的位置；第三列为观察分数在原始测验上对应的位置。

如果在等值设计中，两个被试样本组测试的试卷题目完全一样，通过式（10-41）即可以完成等值转换，就可以找到相同观察分数在两个被试组中的位置指标——z分数。这种转换模式与前面讲到的随机等组线性等值相近，只不过通过式（10-20）就可以找到相同z分数在两个被试组中的两个观察分数。在随机等组线性等值中，两个被试组水平相同，但测验难度水平不同，导致两组分数不同。在这种情形下，原始得分位置相同的被试水平也相同，但原始得分不同；在锚测验垂直等值中，测验难度水平相同，但两个被试组水平不同，导致两组分数不同，在这种情形下，原始得分相同的被试水平也相同，但在本群体中所处的位置不同。

不过，在实际等值设计中，常见的情形是，锚测验只是整个测验的一部分，我们是希望通过锚测验设计来等值被试在整个测验上的得分。于是，我们还必须了解更多的相关式子。

瑟斯顿假设两个锚测验的题目难度之间也存在像两组被试得分一样的转换关系。其实这点可以理解，得分高低与测验题目难度高低紧密相连，得分高意味着题目容易，得分低意味着题目难；题目难意味着被试水平低，题目容易意味着被试水平高。于是，将通过两组被试独立估计出来的锚测验难度参数，即通过率通过正态分布表转换为正态化z 值，并分别计算转换后题目难度值的平均数和标准差，记为 、 、 、 。在锚测验垂直等值设计情形下，尽管题目相同，但由于两组被试水平不同，所以每个题目的通过率就不一样，但在同组内，更容易的题目正态化z值总是小于更难的题目。对比随机等组线性等值方法情形，对于题目难度来说，两个组之间难度水平地位相同的题目，应该是相同的题目，它们应该有相同的计量学特性，于是有：

和 分别表示通过两个不同被试组计算出来且经过正态化转换后的难度水平指标，将式（10-42）进行移项后，可以得到：

瑟斯顿根据两组被试水平之间与两组题目难度之间有相同转换关系模式的假设，认为式（10-41）与式（10-43）的斜率和截距应该对应相等，即有：

有了这两个式子，就可以估计原始测验组被试在作答量表测验组整个测验后的得分的平均数和标准差。

在这里， 、 、 、 分别是锚测验题目的两组难度的平均数和标准差，M 1 与s 1 则分别是量表测验组被试在整个测验上的平均数和标准差。M 2.1 与S 2.1 分别表示原始测验组被试在作答量表测验组的整个测验后得分的平均数和标准差的估计值。

瑟斯顿绝对量表法等值转换结果的可靠性可以通过两个方面进行评价：一方面是通过直观观察，看观察分数对应的两列位置分数在坐标平面上的散点图是否是直线关系，越接近直线，等值转换结果越可靠；另一方面是通过计算两列位置分数之间的皮尔逊相关系数进行统计评价，线性相关系数越接近1，说明等值转换结果越精确可靠。在绘制散点图时，一般横坐标为原始测验的位置分数，纵坐标为对应的量表测验的位置分数，散点表示相同观察分数分别在原始测验和量表测验上的对应位置，如图10-7所示。

图10-7 分数地位散点图

在实践中，瑟斯顿绝对量表法经常也会先将观察分数进行正态化转换，具体过程如下：

①分别绘制两组原始分数的简单次数和累积次数分布表，并把累积次数转换为相应的百分比例。

②进行正态化转换。根据正态分布表，利用累积百分比查到两组测验的每个原始分数对应的正态化z 分数。这样将得到两列正态化分数，我们将其记为z′ ，以区别于式（10-39）和式（10-40）中的z 分数。分别计算两列正态化分数的平均数和标准差，记为 、 、s 1 、s 2 。按照式（10-39）和式（10-40）分别计算同一个正态化z 分数在两个组中的位置指标。

③按照式（10-41）对两列正态化分数进行等值转换。需要特别注意的是，在这里，正态化z 分数代替了前面讲的观察分数。式子中的平均数、标准差是根据两列正态化z 分数，也就是z′ 计算得到的。

正态化转换是非线性转换，它会改变分数的分布形态，但是不会改变分数之间的排列顺序，因此，正态化z 分数更大的值仍然对应原始观察分数中更大的值，这就保证通过正态化z 分数仍然可以找到对应的原始观察分数。

关于瑟斯顿绝对量表法在实际使用中的效果，有许多评价。基于瑟斯顿绝对量表法的等值转换效果必须是在各个假设条件成立的前提下才能保证。首先，来自正态分布总体的被试样本的得分分布也应该服从正态分布。其次，由潜在特质水平决定的观察分数或转换分数很难保证严格的单调关系，它们总会受到各种随机因素的影响，这当然就会进一步影响基于这个假设的等值转换关系式的精确性。另外，关于“两组被试水平之间与两组题目难度之间有相同转换关系模式”的假设应该成立，然而，这一点在垂直等值情形中很难做到，当然，如果所有被试测试的题目完全一样，结果会更好。也许垂直等值方法需要进行更多研究。另外，锚测验要对整体测验具有很好的代表性，这样才能保证两个被试组在锚测验上的分布性质，能够被推广到他们在整个测验的作答分数分布形态上。

瑟斯顿绝对量表法不仅可以应用在垂直等值设计情形中，还可以应用在横向等值设计情形下，甚至这种情形下的等值效果会更好，因为在横向等值设计情形下，瑟斯顿绝对量表法的各种假设更容易得到满足。

本章小结

本章主要介绍了认知诊断评价中涉及的两个重要研究领域，即信息量和等值。然而，目前这两个领域并未得到广泛深入的研究，因此在此独立成章一并进行简要介绍。

认知诊断评价首先需要实现对被试认知状态的精确估计，为此，需要收集被试在测验项目上的作答信息，并以此为基础确认对被试认知发展状态的认识。

在认知诊断评价中，信息反映了不同项目在认识被试或鉴别不同被试认知发展状态时的价值大小。信息量反映了不确定度的大小、认识误差的大小或测量误差的大小。信息的大小与项目本身（信息源）的特征有关系，同时与被试本身（信息接收者）的特征也有关系。为了能够精确地估计或鉴别不同被试水平，经常借助信息量指标作为参照，挑选能够为被试带来更大信息的项目进行测试，以实现有目的的、更加高效的测试评价过程。

认知诊断评价理论中的项目和被试参数化方式与项目反应理论存在着较大的差异，因此，其信息量的计算表达方式也不相同，但根本原理却是一致的。部分指标的具体应用请参看认知诊断计算机化自适应测验一章中的相关内容。

等值是大规模评价的必要过程，它能够保证不同群体在不同时间、不同测试模式之间的可比性。认知诊断评价领域关于等值的研究还非常少，本章只是简要介绍了两个已有研究中的等值方法，而对于模型参数的等值转换研究还未发现。希望通过对各种等值方法的介绍能够为进一步的等值研究提供参考借鉴。

思考题

1.信息、信息熵和信息量的概念是什么？

2.综合前面章节所学到的知识，你了解的评价信息量的主要方法有哪些？

3.等值的意义是什么？等值设计的主要方法有哪些？

如果你不知道读什么书或者想获得更多免费电子书请加小编QQ：2338856113 小编也和结交一些喜欢读书的朋友 或者关注小编个人微信公众号名称：幸福的味道 获得上百个书单 为了方便书友朋友找书和看书，小编自己做了一个电子书下载网站，网址：http://www.ireadweek.com 如于某种原因，经常换网址 如果打不开，可以qq联系我

参考文献

康春花，任平，曾平飞.非参数认知诊断方法：多级评分的聚类分析.心理学报，2015，47（8）：1077-1088.

罗照盛.项目反应理论基础.北京：北京师范大学出版社，2012.

罗照盛，李喻骏，喻晓锋，等.一种基于Q矩阵理论朴素的认知诊断方法.心理学报，2015，47（2）：264-272.

彭亚风，罗照盛，喻晓锋，等.认知诊断评价中测验结构的优化设计.心理学报，2016，48（12）：1600-1611.

孙佳楠，张淑梅，辛涛，等.基于Q矩阵和广义距离的认知诊断方法.心理学报，2011，43（9）：1095-1102.

邵瑞珍.教育心理学（修订本）.上海：上海教育出版社，1997.

涂冬波，蔡艳，丁树良.认知诊断理论、方法与应用.北京：北京师范大学出版社，2012.

颜远海，丁树良，汪文义.影响AHM与DINA诊断准确率的因素研究.江西师范大学学报（自然科学版），2011，35（6）：640-645.

喻晓锋，罗照盛，高椿雷，等.使用似然比D 2 统计量的题目属性定义方法.心理学报，2015，47（3）：417-426.

Akaike H.A new look at the statistical model identification.IEEE Transactions on Automatic Control，1974，19（6）：716-723.

Chen J，de la Torre J，Zhang Z.Relative and absolute fit evaluation in cognitive diagnosis modeling.Journal of Educational Measurement，2013，50（2）：123-140.

Chen P，Xin T.Online calibration methods for the DINA model with independent attributes in CD-CAT.Psychometrika，2012，77（2）：201-222.

Cheng Y.When cognitive diagnosis meets computerized adaptive testing：CD-CAT.Psychometrika，2009，74（4）：619-632.

Cheng Y.Improving cognitive diagnostic computerized adaptive testing by balancing attribute coverage：the modified maximum global discrimination index method.Educational and Psychological Measurement，2010，70（6）：902-913.

Chiu C Y，Douglas J A，Li X.Cluster analysis for cognitive diagnosis：theory and applications.Psychometrika，2009，74（4）：633-665.

Chiu C Y，Kohn H.Consistency of cluster analysis for cognitive diagnosis：the DINO modeland the DINA model revisited.Applied Psychological Measurement，2015，39（6）：465-479.

Chiu C Y，Kohn H.Consistency of cluster analysis for cognitive diagnosis：the reduced reparameterized unified model and the general diagnostic model.Psychometrika，2015，81（3）：585-610.

Chiu C Y，Kohn H.The reduced RUM as logit model：parameterization and constraints.Psychometrika，2016，81（2）：350-370.

Cui Y，Leighton J P.The hierarchy consistency index：evaluating person fit for cognitive diagnostic assessment.Journal of Educational Measurement，2009，46（4）：429-449.

de la Torre J.An empirically based method of Q-matrix validation for the DINA model：development and applications.Journal of Educational Measurement，2008，45（4）：343-362.

de la Torre J.DINA model and parameter estimation：a didactic.Journal of Educational and Behavioral Statistics，2008，34（1）：115-130.

de la Torre J.The generalized DINA model framework.Psychometrika，2011，76（2）：179-199.

DiBello L V，Stout W.Guest editors' introduction and overview：IRT-based cognitive diagnostic models and related method.Journal of Educational Measurement，2007，44（4）：285-291.

Embretson S，Gorin J.Improving construct validity with cognitive psychology principles.Journal of Educational Measurement，2001，38（4）：343-368.

Frederiksen N，Glaser R，Lesgold A，Shafto M G（Eds.）.Diagnostic monitoring of skill and knowledge acquisition.New Jersey：Lawrence Erlbaum Associates，1990.

Gelman A，et al.Bayesian data analysis：second edition.Texts in Statistical Science.CRC Press，2004.

Hartz S M.A bayesian framework for the unified model for assessing cognitive abilities：blending theory with practicality.Doctoral thesis，ProQuest information and learning company，2002.

Hartz S，Roussos L.The fusion model for skills diagnosis：blending theory with practicality.ETS Research Reports：RR-08-71，2008.

Hsu C L，Wang W C，Chen S Y.Variable-length computerized adaptive testing based on cognitive diagnosis models.Applied Psychological Measurement，2013，37（7）：563-582.

Jang E E.A validity narrative：effects of reading skills diagnosis on teaching and learning in the contest of NG TOEFL.ProQuest information and learning company，2005.

Junker B W，Sijtsma K.Cognitive assessment models with few assumptions，and connections with nonparametric item response theory.Applied Psychological Measurement，2001，25（3）：258-272.

Kang H，Zhang S，Chang H.Dual-objective item selection criteria in cognitive diagnostic computerized adaptive testing.Journal of Educational Measurement Summer，2017，54（2）：165-183.

Kaplan M，de la Torre J，Barrada J R.New item selection methods for cognitive diagnosis computerized adaptive testing.Applied Psychological Measurement，2015，39（3）：167-188.

Kullback S，Leibler R A.On information and sufficiency.Annals of Mathematical Statistics，1951，22（1）：79-86.

Leighton J P，Gierl M，J.（Eds.）.Cognitive diagnostic assessment for education：theory and applications.Cambridge：Cambridge University Press，2007.

Leighton J P，Gierl M J，Hunka S M.The attribute hierarchy method for cognitive assessment：a variation on Tatsuoka's rule-space approach.Journal of Educational Measurement，2004，41（3）：205-237.

Liu J，Ying Z，Zhang S.A rate function approach to computerized adaptive testing for cognitive diagnosis.Psychometrika，2015，80（2）：468-490.

Maris E.Estimating multiple classification latent class models.Psychometrika，1999，64（2）：187-212.

Mislevy R J.Evidence and inference in educational assessment.Psychometrika，1994，59（4）：439-483.

Mislevy R J，Johnson E G，Muraki E.Scaling procedures in NAEP.Journal of Educational Statistics，1992，17（2）：131-154.

Nichols P D.A framework for developing cognitively diagnostic assessments.Review of Educational Research，1994，64：575-603.

Nichols P D，Chipman S F，Brennan R L.（Eds.）.Cognitively diagnostic assessment.Hillsdale，NJ：Erlbaum，1995.

Schwarz，Gideon E.Estimating the dimension of a model.Annals of Statistics，1978，6（2）：461-464.

Spiegelhalter D J，et al.Bayesian measures of model complexity and fit（with discussion）.Journal of the Royal Statistical Society，Series B，2002，64（4）：583-639.

Tatsuoka K K.Rule space：an approach for dealing with misconceptions based on item response theory.Journal of Educational Measurement，1983，20（4）：345-354.

Tatsuoka K K.Caution indices based on item response theory.Psychometrika，1984，49（1）：95-110.

Tatsuoka K K.Use of generalized person-fit indexes，zetas for statistical pattern classification.Applied Measurement in Education，1996，9（1）：65-75.

Tatsuoka K K.Cognitive assessment：an introduction to the rule space method.New York：Taylor & Francis Group，LLC，2009.

Tatsuoka K K，Tatsuoka M M.Computerized cognitive diagnostic adaptive testing：effect on remedial instruction as empirical validation.Journal of Educational Measurement，1997，34（1）：3-20.

van der Linden W J.Local observed-score equating.In A.A.von Davier（Ed.），Statistical models for equating，scaling，and linking（pp.201-223）.New York，NY：Springer，2010.

van der Linden W J，Wiberg M.Local observed-score equating with anchor-test designs.Applied Psychological Measurement，2010，34：620-640.

von Davier M.A general diagnostic model applied to language testing data.British Journal of Mathematical and Statistical Psychology，2008，61：287-307.

Wang C.Mutual information item selection method in cognitive diagnostic computerized adaptive testing with short test length.Educational and Psychological Measurement，2013，73（6）：1017-1035.

Xin T，Zhang J.Local equating of cognitively diagnostic modeled observed scores.Applied Psychological Measurement，2015，39（1）：44-61.

Xu X，Chang H，Douglas J.Computerized adaptive testing strategies for cognitive diagnosis.Paper presented at the annual meeting of National Council on Measurement in Education，Montreal，Canada，2003.

Table of Contents

书名页

版权页

高级心理测量学丛书编委会

总序

张华华教授简介

前言

目录

第一章 绪论

第一节 心理测量学简述

一、心理测量活动的广泛性

二、心理特质的可测性

三、心理测量的间接性

四、测量误差的普遍性

第二节 从经典测量理论到项目反应理论

一、经典测量理论的优势和不足

二、项目反应理论的优势和不足

第三节 认知诊断评价理论的兴起

一、认知诊断评价理论的主要优势

二、认知诊断评价理论的主要发展历程

三、认知诊断评价理论的主要研究内容

第二章 认知心理学中的一些相关概念

第一节 认知心理学简述

一、认知心理学理论流派的兴起

二、人类信息加工的观点

三、信息输入、存储和提取

第二节 认知诊断评价与认知心理学

一、认知诊断评价中的问题任务

二、认知心理学对定义问题任务的指导作用

第三章 认知诊断评价理论的基础概念

第一节 关于诊断

第二节 属性及其结构

一、属性

二、邻接矩阵

三、可达矩阵

第三节 测验属性的定义

一、关联矩阵

二、缩减Q矩阵

第四节 被试的理想属性掌握模式和理想反应模式

一、理想属性掌握模式

二、理想反应模式

第四章 认知诊断评价理论的基本假设及其检验

第一节 认知诊断评价理论的基本假设

一、作答过程真实性假设

二、局部独立性假设

三、补偿性假设

第二节 认知诊断评价理论假设检验

一、作答过程真实性检验

二、局部独立性检验

三、补偿性检验

四、模型-资料拟合检验

五、被试-模型拟合检验

第五章 测验与题目属性的定义

第一节 测验领域认知模型的定义

一、领域认知模型的参考架构

二、领域认知模型的构建

第二节 题目属性定义和检验

一、题目属性的事先定义

二、题目属性的事后定义和验证

第六章 认知诊断评价理论的代表性模型

第一节 规则空间方法

一、规则空间建立

二、被试属性掌握模式分类

第二节 属性层级方法

一、属性层级

二、基于属性层级的被试属性掌握模式诊断

第三节 DINA模型

一、模型定义

二、模型的特性

第四节 NIDA模型

一、模型定义

二、模型的特性

第五节 G-DINA模型

一、DINA模型的局限

二、G-DINA模型的定义

第六节 GDM模型

一、模型定义

二、模型的特性

第七节 从统一模型到RRUM模型

一、统一模型

二、重参数化统一模型或融合模型

三、RUM模型的进一步简化：RRUM模型

第八节 海明距离判别法：一种非参数认知诊断评价方法

一、海明距离

二、定义测验反应模式间的海明距离

三、海明距离判别法在认知诊断分类中应用的合理性

四、应用海明距离判别法进行认知诊断分类

第七章 参数估计

第一节 几个基础概念

一、极大似然估计

二、牛顿-拉夫逊迭代

三、贝叶斯估计、先验分布、后验分布

第二节 项目参数的条件估计

一、边际分布

二、边际极大似然估计及其EM算法

三、边际极大似然估计示例

第三节 被试参数的条件估计

一、经典条件估计

二、极大后验估计

三、期望后验估计

第四节 马尔可夫链蒙特卡洛方法

一、基本思想

二、马尔可夫链的建立方法

三、马尔可夫链的使用

第八章 认知诊断评价测验的编制

第一节 认知诊断评价测验设计及题目编写

一、认知诊断评价测验设计目标

二、认知设计系统

三、测验题目与属性的组合模式设计

第二节 项目与测验质量评价

一、项目质量评价

二、测验质量评价

第九章 认知诊断计算机化自适应测验

第一节 题库建设

一、题目编制

二、参数标定

三、题库组织

第二节 选题策略

一、测验初始阶段的选题策略

二、测验精确估计阶段的选题策略

第三节 认知诊断计算机自适应测验的其他主题

一、被试属性掌握模式估计

二、测验终止规则

三、结果报告

第四节 题目在线更新

一、题目内容更新

二、在线标定数据采集方式设计

三、参数的在线标定方法

第十章 认知诊断评价理论其他专题

第一节 信息、信息熵、信息量

一、信息熵与互信息

二、自信息

三、KL散度

四、Fisher信息

五、Fisher信息与相对熵KL散度之间的关系

六、香农熵与相对熵KL散度之间的关系

七、互信息与相对熵KL散度之间的关系

八、条件熵与相对熵KL散度之间的关系

第二节 等值和垂直量表化

一、等值

二、垂直量表化

参考文献

如果你不知道读什么书，

就关注这个微信公众号号。

微信公众号名称：幸福的味道

加小编QQ一起读书

QQ号：2338856113

【幸福的味道】已提供200个不同类型的书单

1、 历届茅盾文学奖获奖作品

2、 每年豆瓣，当当，亚马逊年度图书销售排行榜

3、 25岁前一定要读的25本书

4、 有生之年，你一定要看的25部外国纯文学名著

5、 有生之年，你一定要看的20部中国现当代名著

6、 美国亚马逊编辑推荐的一生必读书单100本

7、 30个领域30本不容错过的入门书

8、 这20本书，是各领域的巅峰之作

9、 这7本书，教你如何高效读书

10、 80万书虫力荐的“给五星都不够”的30本书

关注“幸福的味道”微信公众号，即可查看对应书单和得到电子书

也可以在我的网站（周读）www.ireadweek.com 自行下载

更多书单，请关注微信公众号：一种思路

Table of Contents

书名页

版权页

高级心理测量学丛书编委会

总序

张华华教授简介

前言

目录

第一章 绪论

第一节 心理测量学简述

一、心理测量活动的广泛性

二、心理特质的可测性

三、心理测量的间接性

四、测量误差的普遍性

第二节 从经典测量理论到项目反应理论

一、经典测量理论的优势和不足

二、项目反应理论的优势和不足

第三节 认知诊断评价理论的兴起

一、认知诊断评价理论的主要优势

二、认知诊断评价理论的主要发展历程

三、认知诊断评价理论的主要研究内容

第二章 认知心理学中的一些相关概念

第一节 认知心理学简述

一、认知心理学理论流派的兴起

二、人类信息加工的观点

三、信息输入、存储和提取

第二节 认知诊断评价与认知心理学

一、认知诊断评价中的问题任务

二、认知心理学对定义问题任务的指导作用

第三章 认知诊断评价理论的基础概念

第一节 关于诊断

第二节 属性及其结构

一、属性

二、邻接矩阵

三、可达矩阵

第三节 测验属性的定义

一、关联矩阵

二、缩减Q矩阵

第四节 被试的理想属性掌握模式和理想反应模式

一、理想属性掌握模式

二、理想反应模式

第四章 认知诊断评价理论的基本假设及其检验

第一节 认知诊断评价理论的基本假设

一、作答过程真实性假设

二、局部独立性假设

三、补偿性假设

第二节 认知诊断评价理论假设检验

一、作答过程真实性检验

二、局部独立性检验

三、补偿性检验

四、模型-资料拟合检验

五、被试-模型拟合检验

第五章 测验与题目属性的定义

第一节 测验领域认知模型的定义

一、领域认知模型的参考架构

二、领域认知模型的构建

第二节 题目属性定义和检验

一、题目属性的事先定义

二、题目属性的事后定义和验证

第六章 认知诊断评价理论的代表性模型

第一节 规则空间方法

一、规则空间建立

二、被试属性掌握模式分类

第二节 属性层级方法

一、属性层级

二、基于属性层级的被试属性掌握模式诊断

第三节 DINA模型

一、模型定义

二、模型的特性

第四节 NIDA模型

一、模型定义

二、模型的特性

第五节 G-DINA模型

一、DINA模型的局限

二、G-DINA模型的定义

第六节 GDM模型

一、模型定义

二、模型的特性

第七节 从统一模型到RRUM模型

一、统一模型

二、重参数化统一模型或融合模型

三、RUM模型的进一步简化：RRUM模型

第八节 海明距离判别法：一种非参数认知诊断评价方法

一、海明距离

二、定义测验反应模式间的海明距离

三、海明距离判别法在认知诊断分类中应用的合理性

四、应用海明距离判别法进行认知诊断分类

第七章 参数估计

第一节 几个基础概念

一、极大似然估计

二、牛顿-拉夫逊迭代

三、贝叶斯估计、先验分布、后验分布

第二节 项目参数的条件估计

一、边际分布

二、边际极大似然估计及其EM算法

三、边际极大似然估计示例

第三节 被试参数的条件估计

一、经典条件估计

二、极大后验估计

三、期望后验估计

第四节 马尔可夫链蒙特卡洛方法

一、基本思想

二、马尔可夫链的建立方法

三、马尔可夫链的使用

第八章 认知诊断评价测验的编制

第一节 认知诊断评价测验设计及题目编写

一、认知诊断评价测验设计目标

二、认知设计系统

三、测验题目与属性的组合模式设计

第二节 项目与测验质量评价

一、项目质量评价

二、测验质量评价

第九章 认知诊断计算机化自适应测验

第一节 题库建设

一、题目编制

二、参数标定

三、题库组织

第二节 选题策略

一、测验初始阶段的选题策略

二、测验精确估计阶段的选题策略

第三节 认知诊断计算机自适应测验的其他主题

一、被试属性掌握模式估计

二、测验终止规则

三、结果报告

第四节 题目在线更新

一、题目内容更新

二、在线标定数据采集方式设计

三、参数的在线标定方法

第十章 认知诊断评价理论其他专题

第一节 信息、信息熵、信息量

一、信息熵与互信息

二、自信息

三、KL散度

四、Fisher信息

五、Fisher信息与相对熵KL散度之间的关系

六、香农熵与相对熵KL散度之间的关系

七、互信息与相对熵KL散度之间的关系

八、条件熵与相对熵KL散度之间的关系

第二节 等值和垂直量表化

一、等值

二、垂直量表化

参考文献