admin 管理员组

文章数量: 1184232

cs224u GloVe词向量方法

GloVe是Jeffrey Pennington 等作者于2014年提出的一种词向量方法,该方法基于全局词汇,通过统计单词共现的信息训练词向量,将统计信息与局部上下文窗口方法结合起来。

论文:Pennington et al. (2014)  .pdf

Github: 

论文中约定的几个变量:

对于任意的单词i、单词j,单词k,如果单词k与单词i比单词k与单词j有更深的关联,则Pik>Pjk,反之亦然,如果单词k与单词i和单词j的关系都不大,则Pik约等于Pjk。用数学语言表示如下,其中wi是第i个单词的词向量,wj是第j个单词的词向量,wk是上下文窗口context_windows中的词向量 。具体推导过程请阅读论文,这里不再赘述:

 

本文标签: cs224uGloVe词向量方法