注意力在神经网络中是如何工作的？

跳过连接，也称为残余连接，是绕过神经网络中一个或多个层的快捷方式。它们解决了梯度消失等问题，并能够训练更深入的网络。在ResNet中引入的跳过连接允许模型学习标识映射。

通过直接将输入从较早的层添加到较晚的层，跳过连接保留原始信息并使优化更容易。例如，在ResNet中，卷积块的输出被添加到其输入，形成残差连接。

事实证明，跳过连接对于推进计算机视觉架构 (如DenseNet和基于Transformer的模型) 至关重要。它们还提高了图像分类和自然语言处理等任务的收敛性和泛化能力。