基于多模态知识感知注意力机制的问答方法

被引：35

作者：

张莹莹 ^{[1
,2
]}

钱胜胜 ^{[2
]}

方全 ^{[2
]}

徐常胜 ^{[1
,2
]}

机构：

[1] 中国科学院大学

[2] 模式识别国家重点实验室(中国科学院自动化研究所)

来源：

计算机研究与发展 | 2020年 / 57卷 / 05期

关键词：

多模态知识图谱; 医疗问答系统; 注意力机制; 信息检索; 深度学习;

D O I：

暂无

中图分类号：

R-05 [医学与其他学科的关系]; TP18 [人工智能理论];

学科分类号：

100117 [系统生物医学]; 140502 [人工智能];

摘要：

随着网络的普及,越来越多人遇到身体不适时,会选择在网站上搜索相关症状.随着在线医疗问答网站的出现,如春雨医生、寻医问药等,患者可以便捷地医生交流.现有的问答系统方法,聚焦于词级别的交互与语义信息,却很少考虑在回答问题时,回答者还利用了与问答本身无直接联系的常识.在实际生活中,除了病人的表述,医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法,它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示;然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑,并刻画问答对之间的交互关系.此外,该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集,实验结果表明:该方法比当前最好的方法准确度提升了2%以上.

引用

页码：1037 / 1045

页数：9

共 3 条

[1]

Deep EHR: A Survey of Recent Advances in Deep Learning Techniques for Electronic Health Record (EHR) Analysis [J].

Shickel, Benjamin ;

Tighe, Patrick James ;

Bihorac, Azra ;

Rashidi, Parisa .

IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, 2018, 22 (05) :1589-1604

[2]

Knowledge Representations and Inference Techniques for Medical Question Answering.[J].Travis R. Goodwin;Sanda M. Harabagiu.ACM Transactions on Intelligent Systems and Technology (TIST).2017, 2

[3]

Learning vector representation of medical objects via EMR-driven nonnegative restricted Boltzmann machines (eNRBM) [J].

Truyen Tran ;

Tu Dinh Nguyen ;

Dinh Phung ;

Venkatesh, Svetha .

JOURNAL OF BIOMEDICAL INFORMATICS, 2015, 54 :96-105

← 1 →