自动分词中未登录词问题的一揽子解决方案

确定未登录词边界是汉语自动分析中特有的一个问题，未登录词的种类和数量之多，是处理大规模真实文本的严重障碍。本文分析了现有的解决未登录词问题的各种方案，提出两趟分词、在“分词碎片”中计算单字成词概率和未登录词概率的一揽子解决方案，并报告一个初步的、令人鼓舞的开放测试结果。