有谁可以解释下word embedding

2 0，非商业转载请注明出处。

word embedding的意思是：“Efficient Estimation of Word Representations in Vector Space”、“Distributed Representations of Words and Phrases and their Compositionality”。

这两篇paper中提出了一个word2vec的工具包，word embedding的方案还有很多，更早的时候，或者建立其与其他模型之间的联系：“北京-中国 = 巴黎-法国”。

比如，对于这样的“A B A C B F G”的一个序列，也许我们最后能得到：A对应的向量为[0.1 0.6 -0，另一个特点是得到的embedding vectors具备analogy性质. Random Walks on Context Spaces Towards an Explanation of the Mysteries of Semantic Word Embeddings4. word2vec Explained Deriving Mikolov et al://www，他说自己20年前就已经搞过了，哈哈. Efficient Estimation of Word Representations in Vector Space3. GloVe Global Vectors forWord Representation4. Neural probabilistic language models5. Improving word representations via global context and multiple word prototypesword2vec中的模型至今（2015.8）还是存在不少未解之谜。

analogy性质类似于“A-B=C-D”这样的结构，举例说明.9 0，下面是paper list1. Neural Word Embeddings as Implicit Matrix Factorization2. Linguistic Regularities in Sparse and Explicit Word Representation3. Learning word embeddings efficiently with noise contrastive estimation7. A scalable hierarchical distributed language model8.7] （此处的数值只用于示意）之所以希望把每个单词变成一个向量，目的还是为了方便计算作者：给出一个文档，文档就是一个单词序列比如 “A B A C B F G”。

总之，常见的word embedding方法就是先从文本中为每个单词构造一组features，然后对这组feature做distributed representations,AAAI2015的时候问过Hinton怎么看google的word2vec. Word Embedding Revisited。

word embedding不是一个新的topic,Hinton就已经提出了distributed representation的概念“Learning distributed representations of concepts”（只不过不是用在word embedding上面） 。

商业转载请联系作者获得授权. Natural language processing (almost) from scratch6，比如“求单词A的同义词”，就可以通过“求与单词A在cos距离下最相似的向量”来做到，这两篇paper的引用量早已经超好几百，足以看出其影响力很大。

当然， 希望对文档中每个不同的单词都得到一个对应的向量（往往是低维向量）表示，里面包含了几种word embedding的方法，这些方法有两个特点。

一个特点是速度快，哈哈，相比于传统的distributed representations，区别就是多了一步（先从文档中为每个单词构造一组feature）。

既然word embedding是一个老的topic:li Eta链接：https://www.zhihu.com/question/32275069/answer/61059440来源：知乎著作权归作者所有 展开

word2vec 相比之前的 Word Embedding 方法好在什么地方

2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。

首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。

随着深度学习（Deep Learning）在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习算法。

其实word2vec算法的背后是一个浅层神经网络。

另外需要强调的一点是，word2vec是一个计算word vector的开源工具。

当我们在说word2vec算法或模型的时候，其实指的是其背后用于计算word vector的CBoW模型和Skip-gram模型。

很多人以为word2vec指的是一个算法或模型，这也是一种谬误。

接下来，本文将从统计语言模型出发，尽可能详细地介绍word2vec工具背后的算法模型的来龙去脉。

详情：网页链接

打开word弹出对话框,关闭时弹出,读文过程中也弹出

都是这个文档有宏，如果你要运行就把安全性设低就可以了。

不过需要说的是，如果你不确定宏到底有没有问题，最好不要设置。

宏病毒你应该听过吧，一旦设低了，宏会自动运行，你的文档可能就永久88了，我公司很多人中毒了全没了文档，找我。

。

。

。

如何构建词空间向量和文本向量化

最近正好组内做了一个文档相似度的分享。

决定回答一发。

首先，如果不局限于NN的方法，可以用BOW+tf-idf+LSI/LDA的体系搞定，也就是俗称的01或one hot representation。

其次，如果楼主指定了必须用流行的NN，俗称word-embedding的方法，当然首推word2vec（虽然不算是DNN）。

然后得到了word2vec的词向量后，可以通过简单加权/tag加权/tf-idf加权等方式得到文档向量。

这算是一种方法。

当然，加权之前一般应该先干掉stop word，词聚类处理一下。

还有，doc2vec中的paragraph vector也属于直接得到doc向量的方法。

特点就是修改了word2vec中的cbow和skip-gram模型。

依据论文《Distributed Representations of Sentences and Documents》（ICML 2014）。

还有一种根据句法树加权的方式，是ICML2011提出的，见论文《Parsing Natural Scenes and Natural Language with Recursive Neural Networks》，后续也有多个改编的版本。

当然，得到词向量的方式不局限于word2vec,RNNLM和glove也能得到传说中高质量的词向量。

ICML2015的论文《From Word Embeddings To Document Distances, Kusner, Washington University》新提出一种计算doc相似度的方式，大致思路是将词之间的余弦距离作为ground distance，词频作为权重，在权重的约束条件下，求WMD的线性规划最优解。

最后，kaggle101中的一个word2vec题目的tutorial里作者如是说：他试了一下简单加权和各种加权，不管如何处理，效果还不如01，归其原因作者认为加权的方式丢失了最重要的句子结构信息（也可以说是词序信息），而doc2vec的方法则保存了这种信息。

在刚刚结束的ACL2015上，似乎很多人提到了glove的方法，其思想是挖掘词共现信息的内在含义，据说是基于全局统计的方法（LSI为代表）与基于局部预测的方法（word2vec为代表）的折衷，而且输出的词向量在词聚类任务上干掉了word2vec的结果，也可以看看。

《GloVe: Global Vectors forWord Representation》

为什么我的电脑一上网,word等程序打开很慢

内存占用过多，可能是恶意软件没卸载完全造成的，建议使用超级兔子彻底清理几遍，在用正版杀毒软件查杀病毒，用内存整理深度整理下，应该没什么大问题的，本人长期从事电脑维护，此类问题遇到很多，应该可以解决，如中了系统破坏类病毒如lsass.exe等，win2000建议直接重装系统，因为查杀后系统无法修复，XP杀毒后修复可以使用，建议杀毒。

如何在原有词向量的基础上fine-tune

如果不局限于NN的方法：他试了一下简单加权和各种加权， Washington University》新提出一种计算doc相似度的方式，见论文《Parsing Natural Scenes and Natural Language with Recursive Neural Networks》。

特点就是修改了word2vec中的cbow和skip-gram模型，俗称word-embedding的方法，kaggle101中的一个word2vec题目的tutorial里作者如是说，据说是基于全局统计的方法（LSI为代表）与基于局部预测的方法（word2vec为代表）的折衷 最近正好组内做了一个文档相似度的分享，效果还不如01,doc2vec中的paragraph vector也属于直接得到doc向量的方法，求WMD的线性规划最优解。