一种基于概率模型的分词系统

被引：13

作者：

李家福

张亚非

机构：

[1] 解放军理工大学通信工程学院

[2] 解放军理工大学理学院

来源：

系统仿真学报 | 2002年 / 05期

基金：

国家自然科学基金重点项目;

关键词：

分词; EM算法; 语料库; HMM; 系统仿真;

D O I：

10.16182/j.cnki.joss.2002.05.002

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

汉语自动分词是中文信息处理中的基础课题。本文首先对汉语分词的基本概念与应用,以及汉语分词的基本方法进行了概述。接着引出一种根据词的出现概率、基于极大似然原则构建的汉语自动分词的零阶马尔可夫模型,并重点剖析了EM(Expectation- Maximization)算法,最后给出了一个基于本模型的汉语文本处理仿真系统。

引用

页码：544 / 546+550 +550

页数：4