像Word2Vec和GloVe这样的词嵌入是词的密集向量表示，它们根据文本中的共现模式捕获它们的语义和句法关系。这些嵌入将具有相似含义的单词映射到高维空间中靠近的点。
Word2Vec使用神经网络通过从其上下文预测单词 (Skip-Gram) 或预测给定单词的周围单词 (CBOW) 来学习嵌入。另一方面，GloVe使用矩阵分解方法从语料库中捕获全局共现统计数据。两种方法都创建嵌入，这些嵌入对单词之间的关系进行编码，例如类比 (例如，“king-man woman = queen”)。
这些嵌入被广泛用于NLP任务，如文本分类，情感分析和机器翻译。虽然有效，但它们是静态的，这意味着一个词无论其上下文如何都具有相同的表示形式。