稀疏技术通过减少模型中活动参数或操作的数量来改善llm，这在保持性能的同时降低了计算和内存成本。稀疏模型在计算期间仅激活其参数的子集，而不是处理每个输入的所有参数。这使得它们在训练和推理方面更有效。
像稀疏注意力这样的技术将计算工作集中在输入序列的最相关部分上，跳过不太关键的区域。例如，在长文档中，稀疏注意力机制优先考虑关键令牌之间的关系，而忽略不相关的关系。MoE (专家混合) 模型通过将输入路由到 “专家” 层的小子集来进一步解决此问题，从而大大减少了每个输入所需的计算。
稀疏性可以扩展更大的模型，而不会成比例地增加资源需求。它特别有利于在延迟敏感的环境中或在资源有限的设备上部署llm。这些技术确保llm在处理大规模任务时保持高效。