“变换器在生成嵌入方面发挥着至关重要的作用，因为它们利用其独特的架构并行处理数据，而不是线性处理。与传统方法可能依赖固定或手工制作的嵌入不同，变换器利用自注意力机制创建输入数据的上下文化表示，如单词或句子。这意味着由变换器生成的嵌入捕捉了单词在句子中的上下文含义，而不仅仅是它们独立的定义。例如，单词“bank”在句子“I went to the bank to deposit money”和“I sat on the bank of the river.”中会有不同的嵌入。
变换器的核心在于能够相对于给定上下文中的其他单词来权衡每个单词的重要性。这是通过注意力机制实现的，模型计算每对单词的注意力分数，从而在生成嵌入时关注相关的单词。例如，在句子“The cat sat on the mat”中，“cat”的嵌入可能会受到“sat”的更多影响，而不是“the”，这告诉模型这些单词如何相互作用。因此，嵌入反映出细微的含义，使得下游任务如文本分类或情感分析更加准确。
此外，变换器可以在不同的粒度层次生成嵌入，从单个单词到整个句子甚至段落。这种灵活性使它们能够在不同领域中应用，无论是用于自然语言处理任务还是其他类型的数据，如图像和音频。例如，在像BERT或GPT这样的应用中，嵌入不仅仅是静态表示；它们还会受到周围文本的动态影响。这种适应性使得变换器生成的嵌入在理解组件之间的关系至关重要的背景下（如聊天机器人和语义搜索系统）变得非常有价值。”