深度学习中的变压器(Transformers)指的是一种神经网络架构,因其在处理序列数据时的广泛应用而受到欢迎,特别是在自然语言处理(NLP)任务中。变压器在2017年一篇题为《Attention is All You Need》的论文中首次提出,利用了一种称为自注意力(self-attention)机制来衡量序列中不同单词相对彼此的重要性。这使得模型能够比以前的模型(如递归神经网络(RNNs)或长短期记忆网络(LSTMs))更有效地捕捉上下文,因为后者是按顺序处理数据,并可能在处理长距离依赖时遇到困难。
变压器的一个关键特性是能够并行处理输入数据,而非顺序处理。这种并行化不仅加快了训练速度,还使模型能够同时学习整个输入序列中的关系。自注意力机制计算一组注意力分数,以确定在整个序列提供的上下文下,每个单词应有多大的关注度。这与传统的顺序模型形成对比,后者中早期单词的影响随着时间推移而减弱,使得模型难以从较长的句子中保留上下文。
变压器已被应用于各种任务,如机器翻译、文本摘要和文本生成。例如,像BERT(双向编码器表示变压器)和GPT(生成预训练变压器)等模型是基于变压器架构构建的。它们在情感分析等任务中表现出色,这些任务中确定单词的上下文至关重要。总体而言,变压器改变了我们处理涉及序列数据的任务的方法,导致了在广泛应用中更有效和高效的模型。