自然语言处理中的预训练范式

被引：17

作者：

冯志伟 ^{[1
,2
]}

李颖 ^{[1
]}

机构：

[1] 杭州师范大学外国语学院

[2] 黑龙江大学俄罗斯语言文学与文化研究中心

来源：

外语研究 | 2021年 / 38卷 / 01期

关键词：

自然语言处理; 范式; 预训练模型; 迁移学习; 注意力机制; 微调;

D O I：

10.13978/j.cnki.wyyj.2021.01.001

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

从2017年以来,自然语言处理中提出了"预训练+微调+师生学习"的新范式。这种新范式是自然语言处理的第四代范式,它代表着自然语言处理未来发展的方向。本文讨论自然语言处理中的这种新范式,分别介绍迁移学习、预训练、微调的原理和方法,并说明它们在Transformer、BERT、UniLM和Unicoder等模型中的应用。

引用

页码：1 / 14+112 +112

页数：15

共 9 条

[1] 神经机器翻译前沿综述
冯洋
邵晨泽
[J]. 中文信息学报, 2020, (07) : 1 - 18
[2] 罗塞塔石碑与机器翻译
冯志伟
[J]. 外语学刊, 2020, (01) : 1 - 17
[3] 词向量及其在自然语言处理中的应用
冯志伟
[J]. 外语电化教学, 2019, (01) : 3 - 11
[4] 机器翻译与人工智能的平行发展
冯志伟
[J]. 外国语(上海外国语大学学报), 2018, 41 (06) : 35 - 48
[5] 计算语言学的历史回顾与现状分析
冯志伟
[J]. 外国语(上海外国语大学学报), 2011, 34 (01) : 9 - 17
[6] 神经网络与深度学习[M]. 机械工业出版社 , 邱锡鹏, 2020
[7] 机器翻译[M]. 高等教育出版社 , 李沐, 2018
[8] 自然语言计算机形式分析的理论与方法[M]. 中国科学技术大学出版社 , 冯志伟, 2017
[9] Efficient Estimation of Word Representations in Vector Space[J] . Tomas Mikolov,Kai Chen 0010,Greg Corrado,Jeffrey Dean. CoRR . 2013

← 1 →