降低llm计算成本的技术包括模型修剪、量化、知识提炼和高效架构设计。修剪删除了不太重要的参数，减少了模型大小以及训练和推理所需的计算次数。例如，基于稀疏性的修剪侧重于仅保留最重要的权重。
量化降低了数值精度，例如使用8位整数而不是32位浮点数，这加快了计算速度并减少了内存使用。知识蒸馏涉及训练较小的 “学生” 模型以模仿较大的 “教师” 模型的行为，从而以较少的资源实现可比的性能。
诸如稀疏变换器和MoE (专家混合) 模型之类的高级架构通过在推理期间仅激活模型参数的子集来进一步优化计算。这些技术与硬件加速和优化的训练框架 (如DeepSpeed) 相结合，使llm在大规模应用中更具成本效益。