主观题评分中的评分者漂移及其传统检测方法

被引：5

作者：

赵海燕 ^{[1
,2
]}

辛涛 ^{[3
]}

田伟 ^{[3
]}

机构：

[1] 北京教育考试院

[2] 北京师范大学心理学部

[3] 北京师范大学中国基础教育质量监测协同创新中心

来源：

中国考试 | 2018年 / 08期

关键词：

主观题评分; 评分者效应; 评分者漂移; 传统检测方法;

D O I：

10.19360/j.cnki.11-3303/g4.2018.08.004

中图分类号：

G40-058.1 [教育评价];

学科分类号：

040101 ; 120403 ;

摘要：

评分者漂移是指评分员跨时间、场合或任务的行为改变,即评分者效应的波动。该构念的提出反映了研究者对评分者效应的兴趣由静态转为动态。在高利害教育考试的背景下,对评分者漂移进行检测是保障结果分数的信度、效度和考试公平性的必然要求。目前,对评分者漂移的检测主要采取基于多面Rasch模型和差异检验的传统方法。评分者漂移的模型拓展、认知与测量结合以及改进评分设计等方面值得做进一步的研究。

引用

页码：20 / 27

页数：8

共 10 条

[1] 基于IRT的评分者效应模型及其应用展望 [J].

康春花 ;

辛涛 .

中国考试, 2010, (08) :3-8

[2] 多面Rasch模型在主观题评分培训中的应用 [J].

李中权 ;

孙晓敏 ;

张厚粲 ;

张立松 .

中国考试(研究版), 2008, (01) :26-31

[3]

Real‐Time Feedback on Rater Drift in Constructed‐Response Items: An Example From the Golden State Examination[J] . MachteldHoskens,MarkWilson. Journal of Educational Measurement . 2006 (2)

[4]

The Stability of Rater Severity in Large‐Scale Assessment Programs[J] . Peter J.Congdon,JoyMeQueen. Journal of Educational Measurement . 2005 (2)

[5]

Examining Rater Effects in TestDaF Writing and Speaking Performance Assessments: A Many-Facet Rasch Analysis[J] . Thomas Eckes. Language Assessment Quarterly . 2005 (3)

[6] The influence of changes in assessment design on the psychometric quality of scores [J].

Wolfe, EW ;

Gitomer, DH .

APPLIED MEASUREMENT IN EDUCATION, 2001, 14 (01) :91-107

[7] Gender differences in performance on multiple-choice and constructed response mathematics items [J].

Garner, M ;

Engelhard, G .

APPLIED MEASUREMENT IN EDUCATION, 1999, 12 (01) :29-51

[8]

The relationship between essay reading style and scoring proficiency in a psychometric scoring system[J] . Edward W. Wolfe. Assessing Writing . 1997 (1)

[9]

Understanding Scoring Reliability: Experiments in Calibrating Essay Readers[J] . Journal of Educational Statistics . 1988 (1)

[10]

Objective Measurement:Theory into Practice .2 Wolfe,E. W,Myford,C. M. Ablex . 2000

← 1 →