视觉-语言模型（VLMs）通过一系列技术的结合来处理图像-文本数据集中的偏见，这些技术旨在识别、减轻和监测偏见。这些模型是在包含大量图像及其对应文本描述的大型数据集上进行训练的。由于这些数据集可能反映社会偏见——例如与性别、种族或职业相关的刻板印象——VLMs 有可能无意中学习并强化这些偏见。为了应对这个问题，开发者采用了一些策略，如数据整理、正则化和审计，以确保训练数据尽可能平衡和具有代表性。
一种常见的方法是通过数据整理来有选择性地增强训练数据集。这可能涉及删除有偏见的示例，例如描绘某些人口群体在刻板角色中的图像，或者用额外的更公平地代表缺乏代表性群体的示例来补充数据集。例如，如果一个数据集主要展示男性从事工程等职业，开发者可以加入更多女性在类似角色中的图像，以减少训练过程中的偏见。这一步至关重要，因为它有助于在模型的输出中创造更公平的表现。
除了整理数据外，开发者还常常在训练过程中实施惩罚有偏见预测的技术。可以应用正则化方法来减少模型偏向某些特征的倾向。此外，对模型输出进行审计对于识别训练后出现的偏见至关重要。通过分析模型在不同人口群体中的预测，开发者可以找出模型仍可能表现出偏见的领域，并相应地对其数据集和训练过程进行迭代。这种持续的评估有助于提高模型的公平性，并确保 VLMs 在实际应用中更可靠。