"残差连接是一个关键的架构特征，它显著提高了深度学习模型的性能，尤其是在深度神经网络中。它们解决了随着模型加深可能出现的梯度消失问题。简单来说，随着神经网络层数的增加，用于训练的梯度可能会变得非常小，这使得模型难以有效学习。残差连接通过允许梯度更顺畅地流经网络，从而帮助应对这一问题，使得训练更深的模型而不会降低性能变得更加容易。
残差连接的主要思想是在前向传播和反向传播过程中跳过网络中的一个或多个层。网络不是直接学习输出，而是学习输入与输出之间的差异，即“残差”。这可以数学上表示为 ( H(x) = F(x) + x )，其中 ( H(x) ) 是期望的输出，( F(x) ) 是各层执行的变换，而 ( x ) 是输入。通过专注于学习残差，网络能够更容易地调整权重以提高性能，从而促进在更深架构中的更好学习。
例如，在广泛用于图像分类任务的残差网络（ResNet）中，残差连接使得构建非常深的架构成为可能，例如具有数百层的架构。这些网络在基准测试中显示出显著的成功，因为它们能够有效地维持随着深度增加的性能。通过允许梯度在网络中流动而不减弱，残差连接导致了训练过程中更快的收敛和对未见数据的更好泛化，最终导致模型既高效又强大。"