ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路

被引：114

作者：

赵朝阳

朱贵波

王金桥

机构：

[1] 中国科学院自动化研究所

来源：

数据分析与知识发现 | 2023年 / 7卷 / 03期

关键词：

语言大模型; 预训练大模型; 多模态预训练模型; ChatGPT;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

【目的】剖析ChatGPT的基础技术原理，探讨其对大语言模型发展产生的影响，以及对多模态大模型发展思路产生的影响。【方法】通过分析ChatGPT的发展过程和技术原理，探讨指令微调、数据采集与标注、基于人类反馈的强化学习等模型构建方法对大语言模型产生的影响。分析当前多模态大模型构建过程中遇到的关键科学问题，并借鉴ChatGPT的技术方案，探讨多模态大模型未来的发展发展思路。【结论】ChatGPT为预训练大模型向下游任务的发展提供了良好的参考技术路径，未来的多模态大模型构建以及下游任务实现过程中，可以充分利用高质量的指令微调等技术来显著提升多模态大模型的下游任务性能。

引用

页码：26 / 35

页数：10

共 6 条

[1]

Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey[J] . Jing Longlong,Tian Yingli.IEEE transactions on pattern analysis and machine intelligence . 2020

[2]

Momentum Contrast for Unsupervised Visual Representation Learning[J] . He K.,Fan H.,Wu Y.,Xie S.,Girshick R..Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition . 2020

[3]

VL-BERT: Pre-training of Generic Visual-Linguistic Representations[J] . Weijie Su,Xizhou Zhu,Yue Cao,Bin Li,Lewei Lu,Furu Wei,Jifeng Dai.CoRR . 2019

[4]

Learning Problem-agnostic Speech Representations from Multiple Self-supervised Tasks[J] . Santiago Pascual,Mirco Ravanelli,Joan Serrà,Antonio Bonafonte,Yoshua Bengio.CoRR . 2019

[5]

Colorful Image Colorization[J] . Richard Zhang,Phillip Isola,Alexei A. Efros.CoRR . 2016

[6]

Context Encoders:Feature Learning by Inpainting. Pathak,D,Krahenbuhl,P,Donahue,J,Darrell,T,Efros,A.A. 2016 IEEE Conference on Computer Vision and Pattern Rec-ognition（CVPR） . 2016

← 1 →