显着性映射是可解释AI (XAI) 中使用的一种技术，可帮助开发人员了解机器学习模型如何进行预测。具体来说，它突出显示了对确定模型输出最有影响的输入区域。例如，当应用于图像分类任务时，显著图显示神经网络在做出决策时关注图像的哪些部分。这种视觉表示允许开发人员看到导致特定预测的 “显著” 特征。
创建显著图的过程通常涉及计算模型的预测相对于输入图像的梯度。通过分析这些梯度，可以识别图像中的哪些像素对预测贡献最大。显著图中的亮色区域指示特别重要的区域，而较暗区域显示较小的影响。一个常见的例子是对狗的图像进行分类，其中地图可以突出狗的耳朵或尾巴，表明这些特征有助于模型正确地对图像进行分类。
显著映射可以显著地帮助调试和模型改进。如果地图显示模型专注于不相关的特征，例如背景元素而不是主要对象，开发人员可以采取措施来完善模型。此外，它还促进了对人工智能系统的信任和信心，因为利益相关者可以深入了解潜在的决策过程。总体而言，显著性映射是解释机器学习模型的宝贵工具，允许开发人员提高模型性能并确保更可靠的结果。