word2vec使用注意点

1. 不需要去除停用词。目前word2vec较好的方法是Negative Sampling,论文中提出该方法为了应对停用词,会进行subsampling,具体可见论文。

2. 需要去除语料库中出现次数过少的词。

3. 向量维度通常设50-200维。

4. 论文实验中显示,负采样次数取15次时效果略好于5次;Negative Sampling方法比哈夫曼树的方法准确度高。

标签: word2vec、面试
  • 回复
隐藏