基于字典和统计的分词方法

被引：13

作者：

陈平

刘晓霞

李亚军

机构：

[1] 西北大学信息科学与技术学院

来源：

计算机工程与应用 | 2008年 / 10期

关键词：

基于字典的分词; 基于统计的分词; 交叉歧义; 未登录词;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

提出了一种基于字典与统计相结合的中文分词方法,该方法利用改进的字典结构能够快速切分,在其基础上进一步利用统计的方法处理所产生未登录词,并且能解决大部分交集歧义问题。

引用

页码：144 / 146

页数：3

共 6 条

[1] 基于条件随机场的汉语分词系统 [J].

李双龙 ;

刘群 ;

王成耀 .

微计算机信息, 2006, (28) :178-180

[2] 基于既定词表的自适应汉语分词技术研究 [J].

黄水清 ;

程冲 .

现代图书情报技术, 2006, (05) :13-17

[3] 一种中文分词词典新机制——双字哈希机制 [J].

李庆虎 ;

陈玉健 ;

孙家广 .

中文信息学报, 2003, (04) :13-18

[4] 中文搜索引擎中的中文信息处理技术 [J].

邹海山 ;

吴勇 ;

吴月珠 ;

陈阵 .

计算机应用研究, 2000, (12) :21-24

[5] 交集型歧义字段切分方法研究 [J].

闫引堂 ;

周晓强 .

情报学报, 2000, (06) :637-643

[6] 快速书面汉语自动分词系统及其算法设计 [J].

张国煊 ;

王小华 ;

周必水 .

计算机研究与发展, 1993, (01) :61-65

← 1 →