Word2vec的核心架构及其应用

被引：67

作者：

熊富林 ^{[1
]}

邓怡豪 ^{[1
]}

唐晓晟 ^{[2
]}

机构：

[1] 北京邮电大学信息与通信工程学院

[2] 北京邮电大学WTI实验室

来源：

南京师范大学学报(工程技术版) | 2015年 / 15卷 / 01期

关键词：

自然语言处理; Word2vec CBOW Skip-gram; 中文语言处理;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

神经网络概率语言模型是一种新兴的自然语言处理算法,该模型通过学习训练语料获得词向量和概率密度函数,词向量是多维实数向量,向量中包含了自然语言中的语义和语法关系,词向量之间余弦距离的大小代表了词语之间关系的远近,词向量的加减代数运算则是计算机在"遣词造句".近年来,神经网络概率语言模型发展迅速,Word2vec是最新技术理论的合集.首先,重点介绍Word2vec的核心架构CBOW及Skip-gram;接着,使用英文语料训练Word2vec模型,对比两种架构的异同;最后,探讨了Word2vec模型在中文语料处理中的应用.

引用

页码：43 / 48

页数：6

共 4 条

[1] 基于多Web信息源的主题概念网络获取
许焱
金芝
李戈
魏强
[J]. 计算机研究与发展, 2013, 50 (09) : 1843 - 1854
[2] 基于人工智能机器学习的文字识别方法研究[D]. 李雷.电子科技大学 2013
[3] Hierarchical Probabilistic Neural Network LanguageModel. Morin F,Bengio Y. Proceedings of the International Workshop on Artificial Intelligenceand Statistics . 2005
[4] Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 1, Foundations. Hinton GE, McClelland JL, Rumelhart DE. Cambridge, MA . 1986

← 1 →