基于注意力机制的LSTM的语义关系抽取

被引:59
作者
王红
史金钏
张志伟
机构
[1] 中国民航大学计算机科学与技术学院
关键词
文本信息; 语义关系; 关系抽取; LSTM; 注意力机制;
D O I
暂无
中图分类号
TP391.1 [文字信息处理];
学科分类号
081203 ; 0835 ;
摘要
目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM(long short-term memory)模型与注意力机制相结合的关系抽取方法。将文本信息向量化,提取文本局部特征,再将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在Sem Eval-2010 task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。
引用
收藏
页码:1417 / 1420+1440 +1440
页数:5
相关论文
共 7 条
[1]   基于LSTM网络的序列标注中文分词法 [J].
任智慧 ;
徐浩煜 ;
封松林 ;
周晗 ;
施俊 .
计算机应用研究, 2017, 34 (05) :1321-1324+1341
[2]   基于多通道卷积神经网的实体关系抽取 [J].
肜博辉 ;
付琨 ;
黄宇 ;
王洋 .
计算机应用研究, 2017, 34 (03) :689-692
[3]   基于Deep Belief Nets的中文名实体关系抽取 [J].
陈宇 ;
郑德权 ;
赵铁军 .
软件学报, 2012, 23 (10) :2572-2585
[4]   中文事件抽取技术研究 [J].
赵妍妍 ;
秦兵 ;
车万翔 ;
刘挺 .
中文信息学报, 2008, (01) :3-8
[5]   Long short-term memory [J].
Hochreiter, S ;
Schmidhuber, J .
NEURAL COMPUTATION, 1997, 9 (08) :1735-1780
[6]  
Chapter 25 Serial order: A parallel distributed processing approach[J] . Michael I. Jordan.Advances in Psychology . 1997
[7]  
LSTM Neural Networks for Language Modeling .2 Sundermeyer M,Schlüter R,Ney H. INTERSPEECH . 2012