NLP中的语言模型是一种概率框架，旨在预测语言中单词序列的可能性。它从大型文本语料库中学习模式，语法和语义，以生成或分析文本。语言模型可以预测序列中的下一个单词 (例如，“猫坐在 ___ 上”) 或评估给定序列的概率 (“我要回家” 与 “我要回家”)。
传统的语言模型，例如n-gram模型，使用统计技术基于固定长度的单词序列对文本进行建模。现代语言模型 (如BERT、GPT和T5) 使用深度学习和转换器架构来捕获更丰富、更灵活的语言表示。它们利用嵌入和注意力机制来处理上下文，支持翻译、总结和会话AI等应用。
预训练的语言模型已成为NLP的支柱，因为它们编码了广泛的语言知识，并且可以针对具有相对较小数据集的特定任务进行微调。他们跨任务的泛化能力大大减少了构建NLP应用程序所需的时间和资源。