多模态知识图谱构建与应用研究综述

被引：52

作者：

陈烨

周刚

卢记仓

机构：

[1] 信息工程大学数据与目标工程学院

来源：

计算机应用研究 | 2021年 / 38卷 / 12期

关键词：

多模态; 知识图谱; 构建; 应用;

D O I：

10.19734/j.issn.1001-3695.2021.05.0156

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

为了总结前人工作,给相关研究者提供思路,首先讨论了当前多模态知识图谱的基本概念,然后从图数据库和知识图谱这两个角度介绍了多模态知识图谱的构建工作,并总结了两种主要方法的思路。还分析了多模态知识图谱的构建和应用中的关键技术和相关工作,如多模态信息提取、表示学习和实体链接。此外,列举了多模态知识图谱在四种场景中的应用,包括推荐系统、跨模态检索、人机交互和跨模态数据管理。最后,从四个方面展望了多模态知识图谱的发展前景。

引用

页码：3535 / 3543

页数：9

共 23 条

[1] 多模态深度学习综述
孙影影
贾振堂
朱昊宇
[J]. 计算机工程与应用, 2020, 56 (21) : 1 - 10
[2] 多模态学习方法综述
陈鹏
李擎
张德政
杨宇航
蔡铮
陆子怡
[J]. 工程科学学报, 2020, 42 (05) : 557 - 569
[3] 基于联合知识表示学习的多模态实体对齐
王会勇
论兵
张晓明
孙晓领
[J]. 控制与决策 , 2020, (12) : 2855 - 2864
[4] 多模态深度学习综述
刘建伟
丁熙浩
罗雄麟
[J]. 计算机应用研究, 2020, 37 (06) : 1601 - 1614
[5] 知识图谱技术综述
徐增林
盛泳潘
贺丽荣
王雅芳
[J]. 电子科技大学学报 , 2016, (04) : 589 - 606
[6] 知识图谱构建技术综述
刘峤
李杨
段宏
刘瑶
秦志光
[J]. 计算机研究与发展, 2016, 53 (03) : 582 - 600
[7] VL-BERT: Pre-training of Generic Visual-Linguistic Representations[J] . Weijie Su,Xizhou Zhu,Yue Cao,Bin Li,Lewei Lu,Furu Wei,Jifeng Dai.CoRR . 2019
[8] ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks[J] . Jiasen Lu,Dhruv Batra,Devi Parikh,Stefan Lee.CoRR . 2019
[9] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Ren, Shaoqing
He, Kaiming
Girshick, Ross
Sun, Jian
[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2017, 39 (06) : 1137 - 1149
[10] Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations[J] . Ranjay Krishna,Yuke Zhu,Oliver Groth,Justin Johnson,Kenji Hata,Joshua Kravitz,Stephanie Chen,Yannis Kalantidis,Li-Jia Li,David A. Shamma,Michael S. Bernstein,Li Fei-Fei.International Journal of Computer Vision . 2017 (1)

← 1 2 3 →