NLP模型通过训练各种具有代表性的数据集来处理俚语和非正式语言，包括来自社交媒体、聊天平台和论坛的文本。这些数据集将模型暴露于非标准语言模式、缩写和惯用表达式。例如，在Twitter数据上训练的模型学会解释俚语，如 “lit” (令人兴奋) 或缩写，如 “LOL” (大声笑)。
像GPT和BERT这样的预训练transformer模型擅长理解非正式语言，因为它们的训练数据包括广泛的文本来源。对特定领域的非正式数据微调这些模型进一步提高了它们的性能。子词标记化技术，如字节对编码 (BPE)，也有助于模型处理俚语通过将未知的单词分解成更小的、可识别的单元。
随着俚语的迅速发展，挑战仍然存在，含义可能因地区或社区而异。为了解决这个问题，模型需要不断更新新数据。为非正式语言量身定制的词典和嵌入，例如在Twitter上训练的手套嵌入，也可以提高性能。尽管取得了进步，但准确处理语和非正式文本仍然是NLP研究的活跃领域。