问word2vec损失函数的解释

EN

我正在尝试理解用于word2vec模型的丢失函数，但在29:30的时候，我并没有真正遵循这个视频https://www.youtube.com/watch?v=ERibwqs9p38&t=5s背后的论证。

目前尚不清楚的公式如下：

• $T$是词汇表中的单词数。
• $w_t$是一个给定的单词，我们试图在前面的+/- $m$单词窗口中计算另一个单词$w_{t+j}$发生的可能性。
• $\theta$是我们要找的解决方案。它本质上是一个包含矩阵V和U的所有列的$2*d*Tx1$维向量。

乍一看，这一切看起来都很清楚:我们在遍历整个词汇表，对于每个(固定的单词)，我们将另一个单词出现在这个固定单词的窗口内的所有概率加起来。

然而，当我认为一个单词$w_t$发生在语料库中的许多位置上，并且可能用一个不同的词发生多次时，它对我来说是失败的。例如，“深度学习”这个词经常发生在一起，这表明它们之间存在着一种语境关系。为什么我们只数两次？上面的公式似乎是每对$p(w_{t+j}|w_t)$只计算两次(例如，一次用于$p(deep|learning)$，一次用于$p(learning|deep)$)。我们应该需要一个校正项来调整丢失的“频率”。

在$\lambda(x,y) = 1$的情况下，我们得到了上面的公式，但我们也可以自由地选择一个函数来增加频繁发生(成对)。上面的公式可以被看作是一个特例，当你不关心更频繁地出现在一起的单词会得到提升的时候。

另一方面，当上面的公式已经说明了多次发生时，那么这个公式在哪里是可见的？然后，作者继续将$p(o|w)$定义为$exp(o^T*w)/\sum(exp(u^T*w))$。在这个特殊的例子中，我看不出我们计算点积的次数和单词$o$在单词$w$附近的次数一样多。也许$p$的选择非常简单，它代表了一个模型，其中两个单词就在附近(就在语料库的某个地方)就足够了(一袋单词模型？？)。然而，很难看出这样的模型在NLP中提供了良好的性能。