Word2Vec和GloVe是用于生成词嵌入的技术，这些词嵌入将词表示为连续空间中的密集向量。这些嵌入捕获了单词之间的语义和句法关系，使模型能够更好地理解上下文。
由Google开发的Word2Vec使用神经网络来学习基于语料库中单词共现的嵌入。它有两种主要方法: Skip-Gram，它预测给定目标单词的周围单词，以及连续单词袋 (CBOW)，它根据其上下文预测目标单词。例如，“king” 和 “queen” 可能由于它们在句子中的共享上下文而具有类似的嵌入。
GloVe (用于单词表示的全局向量) 将全局单词共现统计与矩阵分解相结合以生成嵌入。与专注于本地上下文窗口的Word2Vec不同，GloVe考虑了语料库中单词的整体分布。这使它能够捕获更广泛的模式，例如比例关系 (“男人: 国王: 女人: 女王”)。
这两种方法都会产生预训练的嵌入，可用于下游NLP任务，如情感分析和分类。现代的转换器已经在很大程度上取代了上下文感知表示的静态嵌入，但Word2Vec和GloVe仍然是基础技术。