大语言模型在中学历史学科中的应用测评分析

大语言模型一经发布便获得广泛关注，但其在实际应用特别是教育领域的应用还存在诸多局限与挑战，因此需要对大语言模型在中文语境下的能力与风险进行测评。基于此，文章首先收集整理了一个包括10万条客观选择题与10套中学主观题测试卷的中学历史数据集，并在以ChatGPT、GPT-4和讯飞星火为代表的大语言模型上测试了该数据集中题目的回答表现。然后，文章详细分析了测试结果，发现虽然当前大语言模型的突出能力在于能够产生完整且流畅的表达，但其在中学历史知识测试中仍远低于适龄学生的平均水平，大语言模型应用于教育领域仍存在可靠性较差、可信度较低、具有偏见与歧视、推理能力不足、无法自动更新知识等问题。最后，文章针对大语言模型在中文语境下教育领域的应用提出建议，以期助力大语言模型在教育领域发挥更大的作用，为学生、教师带来更好的学习和教学体验。