联邦学习在实施此方法时，存在一些开发者需注意的计算开销。一个主要的开销来自于客户端设备上需要进行的本地计算。每个设备必须使用自己的数据训练一个本地模型，然后将更新发送回中央服务器。这需要处理能力和能源，对资源有限的设备如智能手机或物联网设备来说尤为困难。例如，如果一百万个设备每个都需要进行多个迭代的模型训练，累积的计算负担可能会变得相当可观。
另一个关键开销与通信相关。在本地训练后，模型更新（通常是梯度）必须发送到中央服务器。如果更新数据量较大或参与设备数量较多，这可能会导致显著的网络流量，从而造成延迟。这种异步通信也可能影响服务器与客户端之间的同步。在设备在不稳定的连接上工作时，数据可能会丢失，需要额外的训练和通信回合来解决，这进一步增加了资源使用。
最后，联邦学习在模型聚合和管理方面也可能引入开销。服务器必须高效地整合来自不同客户端的更新，这在计算上可能十分密集，尤其是在设备数量增加时。例如，确保以隐私保护方式组合更新的安全聚合等技术，可能需要额外的计算资源。此外，处理异构设备——硬件和数据可用性差异——增加了模型训练的复杂性，并可能需要更频繁的调整和微调。这可能会进一步拉伸计算资源，因此开发者在架构联邦学习系统时必须考虑这些挑战。