LLM guardrails通过分析和过滤掉可能违反安全准则或道德标准的响应中的特定令牌 (或单词) 来进行令牌级过滤。令牌级过滤允许护栏在粒度级别上操作，从而防止生成有问题的单词、短语或术语，而不管周围的上下文如何。
例如，如果用户请求显式内容，则护栏可以在输出某些攻击性令牌之前在令牌级别阻止它们，如亵渎或显式语言。这样可以确保没有有害或不适当的内容进入最终响应，即使它是更复杂的句子的一部分。此外，令牌级过滤可用于通过阻止模型词汇表中的某些单词来防止产生有偏见或歧视性的术语。
令牌级过滤在防止某些类型的有害内容方面非常有效，但它可能需要持续更新，以保持最新的语言和使用趋势。随着语言的发展，护栏必须适应新的攻击性术语或有问题的短语，确保令牌级过滤随着时间的推移保持有效。