Posts tagged with #NLP

我们先前介绍的Skip-gram模型通过在局部上下文窗口中进行预测来学习词嵌入。这些模型展示了捕捉词语相似性的语言模式的能力，但**未能利用全局共现统计信息**。 与Skip-gram不同，GloVe使用**全局统计信息**，通过最小二乘目标函数预测词 $j$ 出现在词 $i$ 上下文中的概率。 在详细讲述GloVe模型之前，我们先声明**共现矩阵**及其相关概念。 -...

一个词（如 `tea`）是一个**符号/能指 (Signifier)**，它代表了现实或想象世界中的某个**实体/所指 (Signified)**。词义是极其复杂的，它源于人类在世界中沟通和实现目标的意图。 最简单的表示方法是将每个词视为独立的实体。在向量空间中，这通常通过 **one-hot 向量（或称标准基向量）** 来实现。 例如，在一个词汇表 $V$ 中： $$...