基于深度学习的自然语言处理鲁棒性研究综述

被引：16

作者：

桂韬 ^{[1
]}

奚志恒 ^{[2
]}

郑锐 ^{[2
]}

刘勤 ^{[2
]}

马若恬 ^{[2
]}

伍婷 ^{[2
]}

包容 ^{[2
]}

张奇 ^{[2
]}

机构：

[1] 复旦大学现代语言学研究院

[2] 复旦大学计算机科学技术学院

来源：

计算机学报 | 2024年 / 47卷 / 01期

关键词：

自然语言处理; 鲁棒性; 深度学习; 预训练语言模型; 对抗攻防;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理]; TP18 [人工智能理论];

学科分类号：

081203 ; 0835 ; 081104 ; 0812 ; 1405 ;

摘要：

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取得很好结果的模型在实际应用中的效果却经常大打折扣.近期的一些研究还发现,在测试数据上替换一个相似词语、增加一个标点符号,甚至只是修改一个字母都可能使得这些模型的预测结果发生改变,效果大幅度下降.即使是大型语言模型,也会因输入中的微小扰动而改变其预测结果.什么原因导致了这种现象的发生?深度神经网络模型真的如此脆弱吗?如何才能避免这种问题的出现?这些问题近年来受到了越来越多的关注,诸多有影响力的工作都不约而同地从不同方面讨论了自然语言处理的鲁棒性问题.在本文中,我们从自然语言处理任务的典型范式出发,从数据构建、模型表示、对抗攻防以及评估评价等四个方面对自然语言处理鲁棒性相关研究进行了总结和归纳,并对最新进展进行了介绍,最后探讨了未来的可能研究方向以及我们对自然语言处理鲁棒性问题的一些思考.

引用

页码：90 / 112

页数：23

共 19 条

[1]

Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment.[J].Di Jin;Zhijing Jin;Joey Tianyi Zhou;Peter Szolovits.Proceedings of the AAAI Conference on Artificial Intelligence.2020, 05

[2]

Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study.[J].Jinlan Fu;Pengfei Liu;Qi Zhang.Proceedings of the AAAI Conference on Artificial Intelligence.2020, 05

[3]

Seq2Sick: Evaluating the Robustness of Sequence-to-Sequence Models with Adversarial Examples.[J].Minhao Cheng;Jinfeng Yi;Pin Yu Chen;Huan Zhang;Cho Jui Hsieh.Proceedings of the AAAI Conference on Artificial Intelligence.2020, 04

[4]

WinoGrande: An Adversarial Winograd Schema Challenge at Scale.[J].Keisuke Sakaguchi;Ronan Le Bras;Chandra Bhagavatula;Yejin Choi.Proceedings of the AAAI Conference on Artificial Intelligence.2020, 05

[5]

Robust Reading Comprehension with Linguistic Constraints via Posterior Regularization.[J].Mantong Zhou;Minlie Huang;Xiaoyan Zhu.IEEE/ACM Transactions on Audio Speech and Language Processing.2020, 99

[6] LCF: A Local Context Focus Mechanism for Aspect-Based Sentiment Classification [J].

Zeng, Biqing ;

Yang, Heng ;

Xu, Ruyang ;

Zhou, Wu ;

Han, Xuli .

APPLIED SCIENCES-BASEL, 2019, 9 (16)

[7]

Trick Me If You Can: Human-in-the-Loop Generation of Adversarial Examples for Question Answering.[J].Eric Wallace;Pedro Rodriguez;Shi Feng;Ikuya Yamada;Jordan Boyd-Graber.Transactions of the Association for Computational Linguistics.2019,

[8]

RoBERTa: A Robustly Optimized BERT Pretraining Approach..[J].Yinhan Liu;Myle Ott;Naman Goyal;Jingfei Du;Mandar Joshi;Danqi Chen;Omer Levy;Mike Lewis;Luke Zettlemoyer;Veselin Stoyanov.CoRR.2019,

[9]

A Backdoor Attack Against LSTM-Based Text Classification Systems..[J].Jiazhu Dai;Chuanshuai Chen;Yufeng Li.IEEE Access.2019,

[10]

FreeLB: Enhanced Adversarial Training for Language Understanding..[J].Chen Zhu;Yu Cheng;Zhe Gan;Siqi Sun;Tom Goldstein;Jingjing Liu.CoRR.2019,

← 1 2 →