单词嵌入是NLP中使用的一种技术，用于将单词表示为连续向量空间中的密集向量，从而捕获它们之间的语义关系。与像Bag of Words这样将单词表示为稀疏向量的传统方法不同，嵌入对具有丰富上下文信息的单词进行编码。例如，“king” 和 “queen” 可能在嵌入空间中具有彼此接近的向量，从而反映了它们的相关含义。
流行的单词嵌入方法包括Word2Vec，GloVe和fastText。Word2Vec使用神经网络基于语料库中的共现来学习单词关系，从而产生嵌入，其中可以观察到诸如 “king-man woman = queen” 之类的关系。GloVe结合了全局和局部统计信息，以创建嵌入，从而在文本中捕获更广泛的模式。
现代NLP模型，如BERT和GPT，通过生成上下文相关的表示来进一步嵌入。这意味着像 “银行” 这样的词的嵌入将根据它是否出现在金融或河流的上下文中而有所不同。词嵌入是NLP中深度学习的基础，使文本分类、情感分析和机器翻译等任务能够实现高性能。