“多模态人工智能的常见评估指标对于评估集成多种数据类型（如文本、图像和音频）的模型性能至关重要。一些关键指标包括准确率、精确率、召回率、F1 分数和曲线下面积（AUC）。这些指标有助于理解多模态模型在分类任务或检测特定输出方面的表现。例如，如果一个模型旨在根据关联文本对图像进行分类，则准确率有助于确定正确分类所占的百分比。
另一个重要的多模态人工智能指标集涉及衡量生成模型或输出系统的性能，例如为图像生成说明文字或翻译口语。这里，BLEU 分数和 CIDEr 是常用的指标。BLEU 分数评估生成文本与参考文本的匹配程度，而 CIDEr 更侧重于生成文本与人类撰写文本的语义相似性。例如，在图像说明任务中，这些指标提供了对模型生成的说明文字描述图像内容的准确性相较于人类生成的说明文字的洞察。
最后，考虑因多模态任务的独特性质而产生的特定任务指标是至关重要的。例如，在视频分类任务中，使用平均精度均值（mAP）等指标来评估模型识别和分类对象或活动的有效性。此外，对于涉及音频和文本的任务，可以应用词错误率（WER）指标来评估转录的准确性。通过利用这些多样化的评估指标，开发者可以更清晰地了解其多模态人工智能系统的优缺点，从而做出明智的改进。”