像Adam和RMSprop这样的优化器通过在训练期间调整神经网络的权重来最小化损失函数。RMSprop通过将梯度除以最近梯度幅度的运行平均值来调整每个权重的学习率，有助于稳定更新并防止大的振荡。这使得RMSprop对于非平稳问题 (如强化学习) 有效。
Adam (自适应矩估计) 通过结合动量建立在RMSprop的基础上，该动量考虑了梯度 (第一矩) 和平方梯度 (第二矩) 的移动平均值。这种双重机制确保Adam可以根据更新的方向和幅度调整学习率，从而实现更快的收敛和更稳定的训练。
这两种优化器都减少了手动调整学习率的需求，使它们成为各种任务的热门选择。Adam因其效率和健壮性而受到特别青睐，而RMSprop通常用于深度强化学习等专业环境中。