强化学习 (RL) 中的时间差 (TD) 学习是一种无需环境模型即可估计状态或动作值的方法。TD学习结合了动态编程和蒙特卡洛方法的思想，直接从原始经验中学习，而无需等待最终结果或最终状态。代理根据连续预测之间的差异 (因此称为 “时间差异”) 更新其价值估计。
在TD学习中，即使最终结果尚不清楚，代理也会在每个步骤后更新其价值估计。这是通过将一个状态的预测值与收到的实际奖励加上下一个状态的估计值进行比较来完成的。这两个值之间的差用于调整估计。
TD学习是有效的，因为它允许智能体从部分交互序列中学习，使其对于延迟奖励的任务更有效。使用TD学习的常见算法是Q学习，其中基于预测之间的时间差迭代地更新q值。