大模型关键技术与未来发展方向——从ChatGPT谈起

被引：44

作者：

刘学博

户保田

陈科海

张民

机构：

[1] 哈尔滨工业大学(深圳)计算与智能研究院

来源：

中国科学基金 | 2023年 / 37卷 / 05期

关键词：

人工智能; 大模型; ChatGPT; 发展方向;

D O I：

10.16262/j.cnki.1000-8217.20231026.004

中图分类号：

TP18 [人工智能理论]; TP391.1 [文字信息处理];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ; 081203 ;

摘要：

大规模预训练模型，也被称为“基座模型”或“大模型”,目前被认为是通用人工智能技术的核心引擎，已经成为了全球科技竞争焦点。本文归纳总结了以聊天生成预训练转换器(Chat Generative Pre-trained Transformer, ChatGPT)为代表的生成式大模型技术研究现状和发展趋势，从大模型基座、大模型人类偏好对齐、大模型推理与评价、多模态大模型、大模型安全可控五个方面讨论了当前大模型研究的现状和挑战，并结合我国人工智能研究特点，简要分析了大模型未来的重点发展方向。

引用

页码：758 / 766

页数：9

共 4 条

[1]

Bi Kaifeng,Xie Lingxi,Zhang Hengheng,Chen Xin,Gu Xiaotao,Tian Qi.Accurate medium-range global weather forecasting with 3D neural networks[J].Nature,2023

[2]

Raffel Colin,Shazeer Noam,Roberts Adam,Lee Katherine,Narang Sharan,Matena Michael,Zhou Yanqi,Li Wei,Liu Peter J..Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer[J].JOURNAL OF MACHINE LEARNING RESEARCH,2020

[3]

Zhenzhong Lan,Mingda Chen,Sebastian Goodman,Kevin Gimpel,Piyush Sharma,Radu Soricut.ALBERT: A Lite BERT for Self-supervised Learning of Language Representations[J].CoRR,2019

[4]

Nitish Shirish Keskar,Bryan McCann,Lav R. Varshney,Caiming Xiong,Richard Socher.CTRL: A Conditional Transformer Language Model for Controllable Generation[J].CoRR,2019

← 1 →