深度学习中的变压器（Transformers）指的是一种神经网络架构，因其在处理序列数据时的广泛应用而受到欢迎，特别是在自然语言处理（NLP）任务中。变压器在2017年一篇题为《Attention is All You Need》的论文中首次提出，利用了一种称为自注意力（self-attention）机制来衡量序列中不同单词相对彼此的重要性。这使得模型能够比以前的模型（如递归神经网络（RNNs）或长短期记忆网络（LSTMs））更有效地捕捉上下文，因为后者是按顺序处理数据，并可能在处理长距离依赖时遇到困难。
变压器的一个关键特性是能够并行处理输入数据，而非顺序处理。这种并行化不仅加快了训练速度，还使模型能够同时学习整个输入序列中的关系。自注意力机制计算一组注意力分数，以确定在整个序列提供的上下文下，每个单词应有多大的关注度。这与传统的顺序模型形成对比，后者中早期单词的影响随着时间推移而减弱，使得模型难以从较长的句子中保留上下文。
变压器已被应用于各种任务，如机器翻译、文本摘要和文本生成。例如，像BERT（双向编码器表示变压器）和GPT（生成预训练变压器）等模型是基于变压器架构构建的。它们在情感分析等任务中表现出色，这些任务中确定单词的上下文至关重要。总体而言，变压器改变了我们处理涉及序列数据的任务的方法，导致了在广泛应用中更有效和高效的模型。