ChatGPT的技术基础分析

被引：149

作者：

钱力 ^{[1
,2
,3
]}

刘熠 ^{[1
]}

张智雄 ^{[1
,2
,3
]}

李雪思 ^{[1
,2
]}

谢靖 ^{[1
,2
]}

许钦亚 ^{[1
,2
]}

黎洋 ^{[1
,2
]}

管铮懿 ^{[1
,2
]}

李西雨 ^{[1
,2
]}

文森 ^{[1
,2
]}

机构：

[1] 中国科学院文献情报中心

[2] 中国科学院大学经济与管理学院信息资源管理系

[3] 国家新闻出版署学术期刊新型出版与知识服务重点实验室

来源：

数据分析与知识发现 | 2023年 / 7卷 / 03期

基金：

国家重点研发计划;

关键词：

ChatGPT; ChatGPT技术; 生成式预训练模型; 人工智能;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

【目的】梳理分析ChatGPT相关的语料、算法与模型，为同行业研究提供体系化的参考借鉴。【方法】通过系统梳理GPT-3发布至今的相关文献与资料，刻画ChatGPT技术的整体架构，并解释与分析其背后的模型、算法与原理。【结果】通过文献调研，根据现有资料还原了支撑ChatGPT功能的技术细节，梳理了ChatGPT技术的整体架构，解释了ChatGPT整体技术构成。按照ChatGPT的语料体系、预训练算法与模型、微调算法与模型三个层次分析ChatGPT各技术组件的算法原理与模型组成。【局限】本文调研ChatGPT相关的文献难免存在遗漏，且对部分技术内容的解读还不够深入，一些由笔者推断的内容甚至可能存在错误。【结论】ChatGPT技术应用的突破，是语料、模型、算法，通过迭代训练不断积累的结果，也是各类算法模型有效组合与集成的结果。

引用

页码：6 / 15

页数：10