转换器通过利用自我注意机制同时对所有输入令牌之间的关系进行建模，在生成上下文嵌入方面发挥着关键作用。与传统模型不同，transformers双向处理文本，允许它们捕获丰富的上下文感知的单词或句子表示。
像BERT和GPT这样的模型使用transformer架构来创建嵌入，其中每个令牌的含义取决于其周围的上下文。例如，由于transformer的注意机制，“河岸” 和 “金融银行” 中 “银行” 的嵌入将根据上下文而有所不同。
Transformers已成为NLP和多模式任务中最新嵌入模型的支柱，可实现语义理解，跨模式检索和文本到图像生成等高级功能。它们的可扩展性和灵活性使其对于现代AI系统至关重要。