改善行为科学实验与LLMs和Milvus

按下和松开“按钮” —— 我们能否重新构建我们的情感？ 绝对可以。拥有心理学博士的行为科学家Damon Abraham博士有一个研究项目，展示了如何重新评估一张图片可以改变我们的情感价值和激发情感。因此，探索的重点是发现图片中的什么允许这种转变以及如何寻找它。这就是多维图像嵌入和向量数据库发挥作用的地方。

在2024年2月13日西雅图的Zilliz非结构化数据会议上，Damon Abraham博士在他的演讲“从图片到意义再到向量数据库”中谈到了他的创新研究项目，旨在使用LLM和向量数据库技术为实验心理学创建一个刺激库。这一跨学科的举措涉及与丹佛大学以及爱与时间研究所和Noetic科学研究所的研究人员的合作。它旨在开发一个开源的规范图像数据库和测量图像与其成功重新评估潜力之间的动态心理距离的技术。

心理学项目 数千名人类评分员从规范数据库中评估了2500张图片，测量每张图片的情感强度（激发）和价值（正面与负面）跨越18种不同的刺激类别。目标是通过对这些图片的反应创建一个正态分布，以选择特定的图片在行为研究中触发精确的情感反应。

D. Abraham博士的工作的核心是认知重评的情感调节技术，它涉及重新构建刺激物的意义以改变其情感影响。 根据《国家医学图书馆，重评是一种常用的、广泛研究的情感调节策略，涉及重新构建情境的意义以改变其情感影响（Gross, 1998）。

这种认知重评技术表明图片可以引发特定的认知和情感反应，使其成为心理实验中有价值的机制。这项研究有效地展示了图片的不同情境解释如何改变我们的感受，为情感调节提供了深刻的见解。

测量心理距离 该项目的一个关键见解是，心理距离不应被视为固定度量，因为上下文严重影响它。拥有动态的控制手柄可以释放高级图像处理用例。

研究团队采用构建水平理论（CLT）作为理解和测量心理距离的框架。

根据维基百科，“构建水平理论（CLT）是社会心理学中的一种理论，描述了心理距离与人们的思维（例如，关于对象和事件）是抽象还是具体的关系。CLT的核心思想是，对象离个体越远，它就越会被抽象地思考，而对象越接近，它就越会被具体地思考。”

该项目强调心理表征从近端、此时此地（例如，直接感官体验）波动到更遥远的时间、空间甚至事实上的场景（例如，来自过去的虚构图片）。从本质上讲，当我们从具体性（低水平构建）过渡到抽象性（高水平构建）时，相关概念的上下文网络增加，增加了评估图片时涉及的认知处理的复杂性。

获取正确的数据 心理距离沿几个维度定义，时间、空间、社会和假设距离被认为是最重要的。

正如演讲中指出的，像Google Vision这样的工具可以对图片进行分类。它在识别图片中的内容方面做得很好。然而，它没有捕捉到它的深层含义——它可以告诉你场景中的对象，但对一个人可能对那张图片的反应并没有太多说明。从“是什么”转向探索“如何”是项目提案的核心。

在研究中，来自丹佛大学和亚马逊Mechanical Turk的数千名参与者被要求在18个不同的心理维度上对每张图片进行评分，如情感、运动、体现、社会和物理距离，结果产生了超过760000个独特的评分。

这个丰富的数据集提供了一个完整的评分分布，作为构建水平理论和其他心理研究框架内的宝贵资源。它提供了可以通过这些理论的视角进行分析和解释的强大数据，使研究人员能够深入了解图片的各种维度及其心理影响。

利用LLMs和向量数据库的力量 团队首先使用EfficientNet-B4模型提取视觉嵌入，以捕捉图片的语义内容和一般组成。

他们进一步使用多模态模型LLaVA增强数据，为每张图片生成详细的描述（最多256个标记）。然后，这些描述被转换为使用OpenAI的text-embedding-ada-002模型的向量嵌入。

下一步是将嵌入转移到向量数据库中，如Milvus和Zilliz Cloud（完全管理的Milvus），以更好地处理和处理其多维性。

这种方法允许团队测量并执行语义和视觉相似性搜索，搜索每个图片中嵌入的信息，增强找到具有类似情感影响或认知吸引力的图片的能力。

随着图像嵌入被丰富了额外的信息，并在向量数据库中快速分析，它们可以用于行为科学，在治疗、安全、产品设计和营销策略等用例中具有广泛的应用。

掌握重评机会 研究为理解重评引起情感转变奠定了基础。参与者被指示查看一张图片，对其进行评分，然后重新评估它，看看他们的情感反应如何变化。研究结果揭示了当人们允许他们的情感自然展开时，他们的反应更负面。

然而，除了评估图片的价值和激发之外，探索引发这些情感转变的触发因素以及使个体能够改变他们对图片的反应的因素是有趣的。这种探索检查了不同的图片如何“提供”或“限制”认知重解释的机会，称为“重评机会”。

7.webp

总结 Damon Abraham博士正在开创性地探索图片的情感共鸣、它们引发认知重评的能力，以及如何使用LLMs和像Milvus和Zilliz Cloud这样的向量数据库来实现它。他的研究揭示了图片类别中可以可靠预测其促进情感转变能力的关键组成部分，从而揭示了我们对视觉刺激反应背后的微妙机制。他的工作开启了一个广阔的应用和用例视野，利用图片引发情感反应并影响决策过程。

令人兴奋，不是吗？有应用的想法吗？开始吧！

如果你想学习更多或开始你的项目，构建一个用于刺激相似性搜索的多维向量数据库，例如，欢迎加入我们的Discord频道。我们提供丰富的资源和一个支持性的社区，帮助你开始。