不同深度学习模型的科技论文摘要语步识别效果对比研究

被引：24

作者：

张智雄 ^{[1
,2
,3
,4
]}

刘欢 ^{[1
,2
,4
]}

丁良萍 ^{[1
,2
,4
]}

吴朋民 ^{[1
,2
]}

于改红 ^{[1
,2
]}

机构：

[1] 不详

[2] 中国科学院文献情报中心

[3] 不详

[4] 中国科学院大学经济与管理学院图书情报与档案管理系

[5] 中国科学院武汉文献情报中心

[6] 科技大数据湖北省重点实验室

[7] 不详

来源：

数据分析与知识发现 | 2019年 / 12期

关键词：

深度学习; 神经网络; 语步识别; 支持向量机;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理]; TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

【目的】探究不同深度学习模型的科技论文摘要语步识别效果,并分析识别效果差异原因。【方法】构建大规模的科技论文结构化摘要语料库,选择10 000和50 000两种样本量的训练集,以传统机器学习方法 SVM作为对比基准,引入多种深度学习方法(包括DNN、LSTM、Attention-BiLSTM等神经网络模型),开展语步识别实验,并对实验结果进行对比分析。【结果】Attention-BiLSTM方法在两种样本量下的实验中都取得最好的识别效果, 50 000样本量下F1值达0.9375; SVM方法的识别效果意外好于DNN、LSTM两种深度学习方法;但是,样本量从10 000增加到50 000时, SVM方法的识别效果提升最小(F1值提升0.0125), LSTM方法效果提升最大(F1值提升0.1125)。【局限】由于该领域尚未有公开的通用语料,主要以笔者收集的结构化论文摘要作为训练和测试语料,因此本文的研究结果在与他人比较时有一定的局限性。【结论】双向LSTM网络结构和注意力机制能够显著提升深度学习模型的语步识别效果;深度学习方法在大规模训练集下更能体现其优越性。

引用

页码：1 / 9

页数：9

共 6 条

[1] 英语学术论文摘要语步结构自动识别模型的构建
王立非
刘霞
[J]. 外语电化教学 , 2017, (02) : 45 - 50+64
[2] 英语学术论文摘要语步结构自动识别模型的构建[D]. 刘霞.北京外国语大学. 2016
[3] Long short-term memory
Hochreiter, S
Schmidhuber, J
[J]. NEURAL COMPUTATION, 1997, 9 (08) : 1735 - 1780
[4] An Annotation Scheme for Discourse-level Argumentation in Research Articles .2 Teufel S,Carletta J,Moens M. Proceedings of the 9th Conference on European Chapter of the Association for Computational Linguistics . 1999
[5] On the expressive power of deep architectures .2 Bengio Y,Delalleau O. International Conference on Algorithmic Learning Theory . 2011
[6] Research Genres: Explorations and Applications .2 Swales,J.M. Cambridge University Press . 2004

← 1 →