Word2Vec有哪两种模型？对这两种模型进行简单对比

word2vec是借用神经网络的方式实现的，考虑文本的上下文关系，有两种模型CBOW和Skip-gram，这两种模型在训练的过程中类似。Skip-gram模型是用一个词语作为输入，来预测它周围的上下文，CBOW模型是拿一个词语的上下文作为输入，来预测这个词语本身。

对比 Skip-gram 和 CBOW

(1) 训练速度上 CBOW 应该会更快一点。因为每次会更新 context(w) 的词向量，而 Skip-gram 只更新核心词的词向量。两者的预测时间复杂度分别是 O(V)，O(KV)

(2) Skip-gram 对低频词效果比 CBOW好。因为是尝试用当前词去预测上下文，当前词是低频词还是高频词没有区别。但是 CBOW 相当于是完形填空，会选择最常见或者说概率最大的词来补全，因此不太会选择低频词。Skip-gram 在大一点的数据集可以提取更多的信息。SG 总体比 CBOW 要好一些。