SentiBERT：结合情感信息的预训练语言模型

被引：9

作者：

杨晨

宋晓宁

宋威

机构：

[1] 江南大学人工智能与计算机学院

来源：

计算机科学与探索 | 2020年 / 14卷 / 09期

基金：

中国博士后科学基金;

关键词：

BERT; 情感分类; 预训练语言模型; 多任务学习;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

在大规模无监督语料上预训练的语言模型正逐渐受到自然语言处理领域研究者的关注。现有模型在预训练阶段主要提取文本的语义和结构特征,针对情感类任务的复杂情感特征,在最新的预训练语言模型BERT(双向transformers编码表示)的基础上,提出了一种侧重学习情感特征的预训练方法。在目标领域的预训练阶段,利用情感词典改进了BERT的预训练任务。同时,使用基于上下文的词粒度情感预测任务对掩盖词情感极性进行分类,获取偏向情感特征的文本表征。最后在少量标注的目标数据集上进行微调。实验结果表明,相较于原BERT模型,可将情感任务的精度提升1个百分点,特别是训练样本较少时,能取得更先进的效果。

引用

页码：1563 / 1570

页数：8

共 20 条

[1] 用于域适应的多边缘降噪自动编码器 [J].

杨帅 ;

胡学钢 ;

张玉红 .

计算机科学与探索, 2019, 13 (02) :322-329

[2] 结合产品特征的评论情感分类模型 [J].

喻涛 ;

罗可 .

计算机工程与应用, 2019, 55 (16) :108-114

[3]

Distributed representations of words and phrases and their compositionality. Tomas Mikolov,Ilya Sutskever,Kai Chen,Gregory S Corrado,Jeffrey Dean. Conference on Neural Information Processing Systems . 2013

[4]

Learning sentence embeddings with auxiliary tasks for cross-domain sentiment classification. YU J,JIANG J. Conference on empirical methods in natural language processing . 2016

[5]

Effective LSTMs for target-dependent sentiment classification. Tang DY,Qin B,Feng XC, et al. . 2015

[6]

Universal Language Model Fine-Tuning for Text Classification. Howard J,Ruder S. . 2018

[7]

Multi-task deep neural networks for natural language understanding. LIU X,HE P,CHEN W et al. . 2019

[8] 利用动态多池卷积神经网络的情感分析模型 [J].

喻涛 ;

罗可 .

计算机科学与探索, 2018, 12 (07) :1182-1190

[9] Title加TextRank抽取关键句的情感分类研究 [J].

郑诚 ;

钱改林 ;

章金平 .

计算机工程与应用, 2019, 55 (20) :95-100

[10]

Convolutional neural networks for sentence classification. Kim Y. . 2014

← 1 2 →