转换器是一种深度学习架构，通过使模型能够有效处理文本中的长期依赖关系，彻底改变了NLP。Vaswani等人在2017论文中介绍了 “注意力就是你所需要的一切”，“转换器” 完全依赖于注意力机制来处理序列，从而消除了对循环层或卷积层的需求。
变形金刚的核心是自我注意机制，该机制计算序列中每个单词相对于其他单词的重要性。这允许模型有效地捕获上下文关系。例如，在句子 “猫坐在垫子上” 中，自我注意可以将 “猫” 与 “sat” 和 “mat” 相关联，理解它们的依赖性。
转换器是高度可并行化的，可以在大型数据集上进行更快的训练。基于transformer架构构建的BERT和GPT等模型在机器翻译、问答和文本摘要等任务中取得了最先进的结果。Transformers大规模处理上下文的能力使其成为大多数现代NLP系统的基础。它们还支持迁移学习，允许针对特定任务对预训练模型进行微调，从而减少对特定任务数据的需求。