融合注意力机制和指针标注的实体关系联合抽取方法

被引：5

作者：

唐楠楠 ^{[1
]}

陈吉 ^{[2
]}

侯磊 ^{[3
,4
]}

王星 ^{[2
]}

机构：

[1] 辽宁工程技术大学电子与信息工程学院

[2] 临沂大学信息科学与工程学院

[3] 清华大学计算机科学与技术系

[4] 清华大学人工智能研究院知识智能研究中心

来源：

小型微型计算机系统 | 2023年 / 44卷 / 02期

关键词：

知识图谱; 实体关系联合抽取; BERT; 注意力机制; 指针标注;

D O I：

10.20009/j.cnki.21-1106/TP.2021-0552

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

实体关系三元组是组成知识图谱的基本单位，其抽取的效果直接影响大型知识图谱的构建.针对目前多数关系抽取模型存在语义特征表达能力不足、实体关系发生重叠难以抽取等问题，本文提出了一种融合注意力机制和指针标注的实体关系联合抽取模型.模型采用预训练语言模型BERT训练词向量，利用多头注意力机制获取丰富的语义特征信息，通过指针标注抽取主语，然后采用改进的层归一化将主语特征作为条件信息与句子向量进行特征融合来增强模型表达能力，最终在预定义的关系条件下抽取主语对应的宾语，通过分层的指针标注处理重叠问题.本文使用公开数据集NYT和WebNLG进行测试，实验结果表明该模型在两个数据集上的F1值相比基线模型分别提高了2.5%和0.9%,可有效提升三元组抽取效果，并在一定程度上解决了三元组重叠问题.

引用

页码：256 / 262

页数：7

共 10 条

[1] 融合预训练模型的中文知识图谱问题生成方法
叶子
陈小平
张波
欧阳昱
刘辉舟
[J]. 小型微型计算机系统, 2021, 42 (02) : 246 - 250
[2] 基于动态损失函数的远程监督关系抽取
彭正阳
吕立
于碧辉
[J]. 小型微型计算机系统, 2021, 42 (02) : 251 - 255
[3] 融合知识图谱与循环神经网络的推荐模型
程淑玉
黄淑桦
印鉴
[J]. 小型微型计算机系统, 2020, 41 (08) : 1670 - 1675
[4] 实体关系抽取方法研究综述
李冬梅
张扬
李东远
林丹琼
[J]. 计算机研究与发展, 2020, 57 (07) : 1424 - 1448
[5] 实体关系抽取综述
王传栋
徐娇
张永
[J]. 计算机工程与应用, 2020, 56 (12) : 25 - 36
[6] 深度学习实体关系抽取研究综述
鄂海红
张文静
肖思琪
程瑞
胡莺夕
周筱松
牛佩晴
[J]. 软件学报, 2019, 30 (06) : 1793 - 1818
[7] 基于知识图谱与语义计算的智能信息搜索技术研究
高龙
张涵初
杨亮
[J]. 情报理论与实践, 2018, 41 (07) : 42 - 47
[8] 知识图谱研究综述
李涓子
侯磊
[J]. 山西大学学报(自然科学版), 2017, 40 (03) : 454 - 459
[9] Joint entity recognition and relation extraction as a multi-head selection problem[J] . Giannis Bekoulis,Johannes Deleu,Thomas Demeester,Chris Develder.Expert Systems With Applications . 2018
[10] End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures. Miwa M,Bansal M. Meeting of the Association for Computational Linguistics . 2016

← 1 →