未找到相关数据
一种新的语言模型判别训练方法
被引：6
作者：
于浩
高剑峰
步丰林
机构：
[1] 上海交通大学电子与电气工程学院
[2] 微软亚洲研究院
[3] 上海交通大学电子与电气工程学院 上海
[4] 北京
来源：
关键词：
语言模型;
判别训练;
损失函数;
日文输入法;
D O I：
暂无
中图分类号：
TP391.4 [模式识别与装置];
学科分类号：
081102 [检测技术与自动化装置];
摘要：
已有的一些判别训练(discriminativetraining)方法如Boosting[1]为了提高算法的效率,要求损失函数(lossfunction)是可以求导的,这样的损失函数无法体现最直接的优化目标.而根据最直接优化目标定义的损失函数通常是不可导的阶梯函数的形式.为了解决上述问题,文章提出了一种新的判别训练的方法GAP(GreedyApproxi-mationProcessing).这种方法具有很强的通用性,只要满足阶梯函数形式的损失函数都可以通过此算法进行训练.由于阶梯形式的损失函数是不可导的,无法使用梯度下降的方式计算极值并获得特征权值.因此,GAP采用“贪心”算法的方式,顺序地从特征集合中选取特征,通过穷举搜索的方式确定其权值.为了提高GAP算法的速度,作者在GAP算法中引入了特征之间独立的假设,固定特征的更新顺序,提出了GAP的改进算法FGAP(FastGreedyApproximationProcessing).为了证明FGAP算法的有效性,该文将FGAP算法训练的模型应用到日文输入法中.实验结果表明通过FGAP算法训练的语言模型优于Boosting算法训练的模型,与基础模型相比相对错误率下降了15%19%.
引用
收藏
页码：1708 / 1715
页数：8
相关论文