余弦相似度是向量搜索中使用的一种度量,用于通过计算两个向量之间的夹角的余弦来确定两个向量的相似程度。与欧几里得等距离度量不同,余弦相似性仅关注空间中矢量的方向,而忽略了它们的大小。它在自然语言处理 (NLP) 等应用程序中特别有用,在这些应用程序中,文本嵌入之间的语义相似性很重要。余弦相似度被计算为两个向量的点积除以它们的幅度的乘积。
例如,考虑表示两个句子的嵌入的两个向量。如果余弦相似度接近1,则句子在语义上相似。如果它接近0,则句子是不相关的。余弦相似性对于比较文本嵌入等高维数据非常有效,因为它强调了表示含义的方向,而不是幅度,这可能会受到其他因素 (如词频) 的影响。
此度量通常用于搜索引擎,推荐系统和聚类算法。它对矢量缩放的不变性使其成为比较文本文档或标准化数据集的首选。例如,在NLP中,使用余弦相似性比较词嵌入有助于有效地找到同义词或相关概念。