循环神经网络结构中激活函数的改进

循环神经网络相比于其他深度学习网络,优势在于可以学习到长时依赖知识,但学习过程中的梯度消失和爆炸问题严重阻碍了知识的按序传播,导致长时依赖知识的学习结果出现偏差。为此,已有研究主要对经典循环神经网络的结构进行改进以解决此类问题。本文分析2种类型的激活函数对传统RNN和包含门机制RNN的影响,在传统RNN结构的基础上提出改进后的模型,同时对LSTM和GRU模型的门机制进行改进。以PTB经典文本数据集和LMRD情感分类数据集进行实验,结果表明改进后的模型优于传统模型,能够有效提升模型的学习能力。