上下文嵌入，例如BERT (Transformers的双向编码器表示) 生成的上下文嵌入，与Word2Vec等传统嵌入的不同之处在于，它们捕获了特定上下文中的单词含义。这意味着单词的嵌入基于句子中周围的单词而改变。
例如，单词 “bank” 在 “river bank” 和 “financial bank” 中将具有不同的嵌入，因为BERT在生成嵌入时会考虑整个句子。这是通过基于转换器的架构实现的，该架构双向处理文本，使模型能够捕获细微差别的关系。
相比之下，像Word2Vec和GloVe这样的传统嵌入为每个单词分配一个静态向量，而不管其用法或上下文如何。上下文嵌入对于诸如问答，命名实体识别和情感分析之类的任务更强大，其中单词的含义取决于它们的上下文。