汉语处理的基础工程——现代汉语词频统计

汉语词频统计是汉语言处理的一项基础工程。汉语词汇量巨大,人工统计精度上难以保证。由于存在编码输入、分词等方面的困难,直到八十年代初期,我国才开始利用计算机进行汉语分词、统计的研究。“现代汉语词频统计”是由北京航空学院等11个单位研制成功的、规模巨大的汉语基础工程。它选取汉语材料约三亿字,从中抽样输入了二千余万汉字,并对之进行了计算机自动分词和频度统计。它首次实现了一个汉语自动分词系统—CDWS,建立了一个有十三余万词条的计算机词典,研制了一个有五十二个属性的汉字信息库。