SegT:一个实用的藏文分词系统

被引：27

作者：

刘汇丹 ^{[1
,2
]}

诺明花 ^{[1
,2
]}

赵维纳 ^{[3
,4
]}

吴健 ^{[1
]}

贺也平 ^{[1
]}

机构：

[1] 中国科学院软件研究所

[2] 中国科学院研究生院

[3] 北京语言大学

[4] 青海师范大学

来源：

中文信息学报 | 2012年 / 26卷 / 01期

关键词：

藏文分词; 格助词; 临界词识别; 词频统计; 藏文信息处理; 中文信息处理;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

在分析现有藏文分词方法的基础上,该文重点研究了藏文分词中的格助词分块、临界词识别、词频统计、交集型歧义检测和消歧等问题并提出了相应的方法。应用这些方法,设计实现了一个藏文分词系统SegT。该系统采用格助词分块并识别临界词,然后采用最大匹配方法分词,并进行紧缩词识别。系统采用双向切分检测交集型歧义字段并使用预先统计的词频信息进行消歧。实验结果表明,该文设计的格助词分块和临界词识别方法可以将分词速度提高15%左右,但格助词分块对分词效果没有明显提高或降低。系统最终分词正确率为96.98%,基本达到了实用的水平。

引用

页码：97 / 103

页数：7

共 7 条

[1] 藏文自动分词系统中紧缩词的识别 [J].