LLM可以处理的最大输入长度取决于其体系结构和实现。大多数基于transformer的llm受到固定令牌限制的约束，通常范围从几百到几千个令牌。例如，OpenAI的GPT-4在某些配置中最多可以处理32,000个令牌，而像GPT-3这样的早期模型仅限于4,096个令牌。
此令牌限制包括输入和生成的输出，因此较长的提示会减少可用于响应的空间。如果输入超过标记限制，则必须将其截断，这可能会导致上下文丢失或文本处理不完整。
开发人员可以通过预处理输入以仅包括最相关的信息或通过使用专门的体系结构 (例如稀疏注意) 来扩展有效上下文长度来解决此限制。对于非常长的文档，将输入进行chunking并在较小的部分中进行处理也可以是一种有效的策略。