什么是ai问答机器人

技术干货

如何在大语言模型 Serving 阶段高效管理内存：分页注意力机制

在 Serving 阶段实现有效的内存管理至关重要。一个可行的解决方案是通过 PagedAttention 算法。本文将重点探讨这种解决方案。

技术干货

什么是BERT（Bidirectional Encoder Representations from Transformers）？

BERT，即Bidirectional Encoder Representations from Transformers，自2018年由谷歌发布以来，极大地改变了自然语言处理（NLP）的格局。

技术干货

SentenceTransformers×Milvus:如何进行向量相似性搜索

文本将使用 SentenceTransformers 将非结构化数据转换为 Embedding 向量。SentenceTransformers 是一个能够将句子、文本和图像转换为 Embedding 向量的 Python 框架。您可以用它来编码超过100种语言的句子或文本。然后，我们就可以通过相似度类型（例如：余弦距离）来比较这些 Embedding 向量，从而找到相似含义的句子。