大模型时代的自然语言处理:挑战、机遇与发展

被引：117

作者：

车万翔 ^{[1
]}

窦志成 ^{[2
]}

冯岩松 ^{[3
]}

桂韬 ^{[4
]}

韩先培 ^{[5
]}

户保田 ^{[6
]}

黄民烈 ^{[7
]}

黄萱菁 ^{[8
]}

刘康 ^{[9
]}

刘挺 ^{[1
]}

刘知远 ^{[7
]}

秦兵 ^{[1
]}

邱锡鹏 ^{[8
]}

万小军 ^{[3
]}

王宇轩 ^{[10
]}

文继荣 ^{[2
]}

严睿 ^{[2
]}

张家俊 ^{[9
]}

张民 ^{[6
,11
]}

张奇 ^{[8
]}

赵军 ^{[9
]}

赵鑫 ^{[2
]}

赵妍妍 ^{[1
]}

机构：

[1] 哈尔滨工业大学计算学部

[2] 中国人民大学高瓴人工智能学院

[3] 北京大学王选计算机研究所

[4] 复旦大学现代语言学研究院

[5] 中国科学院软件研究所

[6] 哈尔滨工业大学(深圳)计算机科学与技术学院

[7] 清华大学计算机科学与技术系

[8] 复旦大学计算机科学技术学院

[9] 中国科学院自动化研究所

[10] 之江实验室

[11] 苏州大学计算机科学与技术学院

来源：

中国科学:信息科学 | 2023年 / 53卷 / 09期

关键词：

ChatGPT; 对话式大模型; 大型语言模型; 自然语言处理; 通用人工智能;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理]; TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

近期发布的ChatGPT和GPT-4等大型语言模型,不仅能高质量完成自然语言生成任务,生成流畅通顺,贴合人类需求的语言,而且具备以生成式框架完成各种开放域自然语言理解任务的能力.在少样本、零样本场景下,大模型可取得接近乃至达到传统监督学习方法的性能,且具有较强的领域泛化性,从而对传统自然语言核心任务产生了巨大的冲击和影响.本文就大模型对自然语言处理的影响进行了详细的调研和分析,试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇,探讨大模型将加强哪些自然语言处理共性问题的研究热度,展望大模型和自然语言处理技术的未来发展趋势和应用.分析结果表明,大模型时代的自然语言处理依然大有可为.我们不仅可以将大模型作为研究方法和手段,学习、借鉴大型语言模型的特点和优势,变革自然语言处理的主流研究范式,对分散独立的自然语言处理任务进行整合,进一步提升自然语言核心任务的能力;还可就可解释性、公平性、安全性、信息准确性等共性问题开展深入研究,促进大模型能力和服务质量的提升.未来,以大模型作为基座,拓展其感知、计算、推理、交互和控制能力,自然语言处理技术将进一步助力通用人工智能的发展,促进各行各业的生产力进步,更好地为人类社会服务.

引用

页码：1645 / 1687

页数：43

共 29 条

[1]

QIU XiPeng,SUN TianXiang,XU YiGe,SHAO YunFan,DAI Ning,HUANG XuanJing.Pre-trained models for natural language processing: A survey[J].Science China(Technological Sciences),2020(10):1872-1897

[2] A survey of transformers [J].

Lin, Tianyang ;

Wang, Yuxin ;

Liu, Xiangyang ;

Qiu, Xipeng .

AI OPEN, 2022, 3 :111-132

[3] Efficient Content-Based Sparse Attention with Routing Transformers [J].

Roy, Aurko ;

Saffar, Mohammad ;

Vaswani, Ashish ;

Grangier, David .

TRANSACTIONS OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 2021, 9 :53-68

[4]

Raffel Colin,Shazeer Noam,Roberts Adam,Lee Katherine,Narang Sharan,Matena Michael,Zhou Yanqi,Li Wei,Liu Peter J..Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer[J].JOURNAL OF MACHINE LEARNING RESEARCH,2020

[5] Shortcut learning in deep neural networks [J].

Geirhos, Robert ;

Jacobsen, Joern-Henrik ;

Michaelis, Claudio ;

Zemel, Richard ;

Brendel, Wieland ;

Bethge, Matthias ;

Wichmann, Felix A. .

NATURE MACHINE INTELLIGENCE, 2020, 2 (11) :665-673

[6]

Bing Liu.Learning on the Job: Online Lifelong and Continual Learning[J].Proceedings of the AAAI Conference on Artificial Intelligence,2020

[7]

Shanshan Liu,Xin Zhang,Sheng Zhang,Hui Wang,Weiming Zhang.Neural Machine Reading Comprehension: Methods and Trends[J].Applied Sciences,2019

[8]

Liang Yao,Chengsheng Mao,Yuan Luo.Graph Convolutional Networks for Text Classification[J].Proceedings of the AAAI Conference on Artificial Intelligence,2019

[9]

Maarten Sap,Ronan Le Bras,Emily Allaway,Chandra Bhagavatula,Nicholas Lourie,Hannah Rashkin,Brendan Roof,Noah A. Smith,Yejin Choi.ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning[J].Proceedings of the AAAI Conference on Artificial Intelligence,2019

[10] Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead [J].

Cynthia Rudin .

Nature Machine Intelligence, 2019, 1 :206-215

← 1 2 3 →