transformer架构是大多数现代llm的基础，旨在有效处理文本等顺序数据。它使用一种称为自我关注的机制来关注输入序列的相关部分，从而允许模型在长距离上捕获上下文。与rnn等旧模型不同，transformers同时处理整个序列，使它们在语言任务中更快、更有效。
变压器由编码器和解码器块组成。编码器处理输入并提取有意义的特征，而解码器使用这些特征来生成输出。每个块包含注意力机制和前馈神经网络层，使模型能够理解和生成复杂的语言模式。
transformer的效率和可扩展性使其成为训练大型模型的理想选择。例如，像GPT这样的模型使用仅解码器版本，而BERT使用仅编码器版本。这种灵活性使transformers成为LLMs和许多其他AI应用程序的首选架构。