注意力机制在深度学习中的研究进展

被引：161

作者：

朱张莉 ^{[1
]}

饶元 ^{[1
]}

吴渊 ^{[1
]}

祁江楠 ^{[1
]}

张钰 ^{[2
]}

机构：

[1] 西安交通大学软件学院社会智能与复杂数据处理实验室

[2] 陕西师范大学计算机科学学院

来源：

中文信息学报 | 2019年 / 06期

关键词：

深度学习; 注意力机制; 编码器—解码器;

D O I：

暂无

中图分类号：

TP181 [自动推理、机器学习];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

注意力机制逐渐成为目前深度学习领域的主流方法和研究热点之一,它通过改进源语言表达方式,在解码中动态选择源语言相关信息,从而极大改善了经典Encoder-Decoder框架的不足。该文在提出传统基于Encoder-Decoder框架中存在的长程记忆能力有限、序列转化过程中的相互关系、模型动态结构输出质量等问题的基础上,描述了注意力机制的定义和原理,介绍了多种不同的分类方式,分析了目前的研究现状,并叙述了目前注意力机制在图像识别、语音识别和自然语言处理等重要领域的应用情况。同时,进一步从多模态注意力机制、注意力的评价机制、模型的可解释性及注意力与新模型的融合等方面进行了探讨,从而为注意力机制在深度学习中的应用提供新的研究线索与方向。

引用

页码：1 / 11

页数：11

共 5 条

[1] 基于分类的中文文本摘要方法 [J].