基于BERT-Attention-DenseBiGRU的农业问答社区问句相似度匹配

被引：23

作者：

王郝日钦 ^{[1
,2
]}

王晓敏 ^{[1
,3
]}

缪祎晟 ^{[1
,3
]}

许童羽 ^{[4
]}

刘志超 ^{[1
,3
]}

吴华瑞 ^{[1
,3
]}

机构：

[1] 国家农业信息化工程技术研究中心

[2] 内蒙古民族大学计算机科学与技术学院

[3] 北京市农林科学院信息技术研究中心

[4] 沈阳农业大学信息与电气工程学院

来源：

农业机械学报 | 2022年 / 53卷 / 01期

基金：

国家重点研发计划;

关键词：

问答社区; 农业问句相似度匹配; 自然语言处理; 密集连接BiGRU; 协同注意力机制;

D O I：

暂无

中图分类号：

S126 [电子技术、计算机技术在农业上的应用]; TP391.1 [文字信息处理];

学科分类号：

082806 [农业信息与电气工程]; 120506 [数字人文];

摘要：

为了解决问答社区中相同语义问句文本的快速自动检测,提出一种基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型。针对农业文本具备的特征,采用12层的中文BERT文本预训练模型对文本数据进行向量化处理,并与Word2Vec、Glove、TF-IDF方法进行对比分析,得出BERT方法能够有效地解决农业文本的高维性和稀疏性问题,并且解决多义词在不同语境下具有不同含义的问题。该网络的每一层都使用注意特征的连接信息以及前面所有递归层的隐藏特征,为了缓解由于密集拼接而导致特征向量尺寸不断增大的问题,在模型的最后使用自动编码器进行特征降维。试验结果表明:基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型可以提高文本特征的利用率,减少特征丢失,能够实现快速及准确的农业问句文本相似度匹配,在本文所构建的农业问句相似对数据集上精确率及F1值达到97.2%和97.6%,与其他6种问句相似度匹配模型相比,效果提升明显。

引用

页码：244 / 252

页数：9

共 25 条

[1]

基于Attention＿DenseCNN的水稻问答系统问句分类 [J].

王郝日钦 ;

吴华瑞 ;

冯帅 ;

刘志超 ;

许童羽 .

农业机械学报, 2021, 52 (07) :237-243

[2]

基于深度卷积神经网络的水稻知识文本分类方法 [J].

冯帅 ;

许童羽 ;

周云成 ;

赵冬雪 ;

金宁 ;

王郝日钦 .

农业机械学报, 2021, 52 (03) :257-264

[3]

基于BiGRU＿MulCNN的农业问答问句分类技术研究 [J].

金宁 ;

赵春江 ;

吴华瑞 ;

缪祎晟 ;

李思 ;

杨宝祝 .

农业机械学报, 2020, 51 (05) :199-206

[4]

基于LSTM的食品安全自动问答系统方法研究 [J].

陈瑛 ;

陈昂轩 ;

董玉博 ;

赵筱钰 ;

侯文俊 .

农业机械学报, 2019, 50(S1) (S1) :380-384

[5]

基于卷积模型的农业问答语性特征抽取分析 [J].

张明岳 ;

吴华瑞 ;

朱华吉 .

农业机械学报, 2018, 49 (12) :203-210

[6]

基于BIGRU的番茄病虫害问答系统问句分类研究 [J].

赵明 ;

董翠翠 ;

董乔雪 ;

陈瑛 .

农业机械学报, 2018, 49 (05) :271-276

[7]

ALBERT over Match-LSTM Network for Intelligent Questions Classification in Chinese [J].

Wang, Xiaomin ;

Wang, Haoriqin ;

Zhao, Guocheng ;

Liu, Zhichao ;

Wu, Huarui .

AGRONOMY-BASEL, 2021, 11 (08)

[8]

A Densely Connected GRU Neural Network Based on Coattention Mechanism for Chinese Rice-Related Question Similarity Matching [J].

Wang, Haoriqin ;

Zhu, Huaji ;

Wu, Huarui ;

Wang, Xiaomin ;

Han, Xiao ;

Xu, Tongyu .

AGRONOMY-BASEL, 2021, 11 (07)

[9]

Evaluating community question-answering websites using interval-valued intuitionistic fuzzy DANP and TODIM methods.[J].Li Ming;Li Ying;Peng Qijin;Wang Jie;Yu Chunxia.Applied Soft Computing.2020,

[10]

An integrated retrieval framework for similar questions: Word-semantic embedded label clustering – LDA with question life cycle.[J].Yue Liu;Aihua Tang;Zhibin Sun;Weize Tang;Fei Cai;Chengjin Wang.Information Sciences.2020,

← 1 2 3 →