“自监督学习（SSL）在图像描述和生成任务中越来越被广泛使用。这种方法使得模型能够从未标记的数据中学习，这在创建标记数据集所需的时间和精力方面尤其有利。在图像描述的背景下，SSL可以用于对大规模图像集合进行预训练，而无需显式的描述。例如，模型可以通过预测某些属性或在给定其他图像的上下文下生成部分图像，来学习识别图像中的对象、场景和关系。
在图像描述的SSL常用方法之一是对比学习。在这个框架中，模型学习区分相似和不相似的图像。例如，模型会被训练识别成对的图像，这些图像描绘了相同的场景或对象，但角度或光照条件不同。通过学习这些表示，模型能够生成更为细致和描述性的描述，因为它对图像的基础语义和上下文有更好的理解。
此外，像掩蔽图像建模（masked image modeling）这样的自监督学习技术也可以用于更强大的图像生成。在这种方法中，图像的部分区域被掩蔽，模型学习根据未被掩蔽的部分预测缺失的区域。这一策略增强了模型根据文本输入创造连贯图像的能力，或者通过合成与视觉上下文相符的新内容生成描述。自监督学习的使用提供了一条灵活的途径，以改善图像理解和生成，使实际应用中的结果更加准确和具备上下文相关性。”