人工智能深度学习技术在医学考试试题难度预估中的应用研究

被引：6

作者：

黄广仕 ^{[1
]}

周梦强 ^{[2
]}

韩春梅 ^{[3
]}

吕萍 ^{[2
]}

吴及 ^{[2
]}

机构：

[1] 国家医学考试中心信息技术处, 北京

[2] 清华大学电子工程系, 北京

[3] 国家医学考试中心试题开发一部, 北京

来源：

中华医学教育杂志 | 2021年 / 41卷 / 10期

关键词：

人工智能; 深度学习; 医学考试; 试题难度预估;

D O I：

暂无

中图分类号：

R-4 []; G642.4 [教学法与教学组织];

学科分类号：

040106 [高等教育学];

摘要：

目的利用人工智能深度学习技术预测医师资格考试试题的难度, 准确控制试卷难度。方法利用构建属性模型与语义模型进行试题难度的预估, 并将预估结果和专家预估结果与实测难度分别进行相关分析和重复测量方差分析, 以评价采用模型进行医学试题难度预估的可行性和有效性。结果对于某年整卷试题难度预估, 属性模型预估结果与实测难度的皮尔森相关系数为0.266, 略低于专家预估难度与实测难度的相关系数0.356, 2个系数置信区间有交叉, 差异无统计学意义(P>0.05);语义模型预估结果与实测难度的皮尔森相关系数为0.512, 高于专家预估难度与实测难度的相关系数0.356, 2个系数置信区间无交叉, 差异具有统计学意义(P<0.05)。重复测量方差分析发现, 仅语义模型预估难度与实测难度的差异无统计学意义(P>0.05)。结论使用语义模型预估的试题难度比专家预估的难度更接近实测难度, 可以尝试将该方法在考前应用于试题难度预估, 结合专家预估的结果共同指导组卷, 从而更加客观、准确地把握试卷难度。

引用

共 15 条

[1]

Automated estimation of item difficulty for multiple-choice tests: An application of word embedding techniques [J].

Fu-Yuan, Hsu ;

Hahn-Ming, Lee ;

Tao-Hsing, Chang ;

Yao-Ting, Sung .

INFORMATION PROCESSING & MANAGEMENT, 2018, 54 (06) :969-984

[2]

Master clinical medical knowledge at certificated-doctor-level with deep learning model [J].

Wu, Ji ;

Liu, Xien ;

Zhang, Xiao ;

He, Zhiyang ;

Lv, Ping .

NATURE COMMUNICATIONS, 2018, 9

[3]

Modeling Task fMRI Data via Deep Convolutional Autoencoder..[J].Huang Heng;Hu Xintao;Zhao Yu;Makkie Milad;Dong Qinglin;Zhao Shijie;Guo Lei;Liu Tianming.IEEE transactions on medical imaging.2017, 7

[4]

Supervised Machine Learning: A Review of Classification Techniques [J].