基于大语言模型的问答技术研究进展综述

被引:33
作者
文森 [1 ,2 ]
钱力 [1 ,2 ,3 ]
胡懋地 [1 ,2 ]
常志军 [1 ,2 ]
机构
[1] 中国科学院文献情报中心
[2] 中国科学院大学经济与管理学院信息资源管理系
[3] 国家新闻出版署学术期刊新型出版与知识服务重点实验室
基金
国家重点研发计划;
关键词
大语言模型; 问答技术; 向量检索; 提示工程;
D O I
暂无
中图分类号
TP391.1 [文字信息处理]; TP18 [人工智能理论];
学科分类号
081203 ; 0835 ; 081104 ; 0812 ; 1405 ;
摘要
【目的】全面回顾和概述基于大语言模型的问答技术发展现状、机制原理以及应用趋势。【文献范围】选取与基于大语言模型的问答技术相关的73篇文献。【方法】系统梳理大语言模型的发展现状、参数高效微调策略,分别从面向简单问题的检索增强生成问答推理以及面向复杂问题的提示工程问题推理两方面,深入解析各技术的原理机制、应用价值与存在问题。通过定性分析,全面概述基于大语言模型的问答技术研究进展,并提出未来研究方向。【结果】开源预训练大语言模型不断涌现,高效微调策略可显著提升模型垂直领域适配性。借助文本嵌入与近似最近邻检索技术,检索增强生成技术可有效提升问答可解释性与可信度。借助精心构造的提示工程,可大幅拓展大语言模型的复杂问题推理能力。【局限】大语言模型相关研究发展迅速,调研工作未全面覆盖。【结论】基于大语言模型的问答技术在语义表示、复杂推理等多个方面均取得显著进展,融合外部知识的检索增强生成技术与提示工程技术是当前大语言模型领域的主要研究热点,未来研究工作可在生成内容可控、可信等方面展开深入探索。
引用
收藏
页码:16 / 29
页数:14
相关论文
共 10 条
[1]   文本嵌入技术的研究与应用进展 [J].
赵悦阳 ;
崔雷 .
数据与计算发展前沿, 2023, 5 (03) :92-110
[2]   ChatGPT的技术基础分析 [J].
钱力 ;
刘熠 ;
张智雄 ;
李雪思 ;
谢靖 ;
许钦亚 ;
黎洋 ;
管铮懿 ;
李西雨 ;
文森 .
数据分析与知识发现 , 2023, (03) :6-15
[3]  
Approximate Nearest Neighbor Search on High Dimensional Data - Experiments; Analyses; and Improvement.[J].Li Wen;Zhang Ying;Sun Yifang;Wang Wei;Li Mingjie;Zhang Wenjie;Lin Xuemin.IEEE Transactions on Knowledge and Data Engineering.2019,
[4]  
Entity Linking with a Knowledge Base: Issues; Techniques; and Solutions..[J].Wei Shen;Jianyong Wang;Jiawei Han 0001.IEEE Trans. Knowl. Data Eng..2015, 2
[5]   Jumping NLP Curves: A Review of Natural Language Processing Research [J].
Cambria, Erik ;
White, Bebo .
IEEE COMPUTATIONAL INTELLIGENCE MAGAZINE, 2014, 9 (02) :48-57
[6]  
Efficient Estimation of Word Representations in Vector Space.[J].Tomas Mikolov;Kai Chen 0010;Greg Corrado;Jeffrey Dean.CoRR.2013,
[7]   Product Quantization for Nearest Neighbor Search [J].
Jegou, Herve ;
Douze, Matthijs ;
Schmid, Cordelia .
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2011, 33 (01) :117-128
[8]   The dark side of information: overload, anxiety and other paradoxes and pathologies [J].
Bawden, David ;
Robinson, Lyn .
JOURNAL OF INFORMATION SCIENCE, 2009, 35 (02) :180-191
[9]  
A Neural Probabilistic Language Model..[J].Yoshua Bengio;Réjean Ducharme;Pascal Vincent;Christian Janvin.Journal of Machine Learning Research.2003,
[10]  
基于局部敏感哈希的近似最近邻查询研究.[D].刘英帆.西安电子科技大学.2014, 05