嵌入可以在无服务器环境中工作,方法是利用云函数 (例如AWS Lambda、Google cloud functions或Azure Functions) 来处理嵌入生成和推理,而无需管理服务器。在无服务器设置中,嵌入通常在发出请求时按需生成,结果快速返回,使其成为具有可变工作负载或不频繁嵌入生成需求的应用程序的理想选择。
无服务器模型提供自动扩展,这意味着系统可以处理大量的嵌入请求,而无需人工干预。例如,推荐系统可以根据用户与web应用程序的交互实时为用户生成嵌入,自动缩放以处理流量高峰。然后,可以将生成的嵌入存储在云存储或矢量数据库中以进行快速检索。
然而,无服务器环境可能有一些延迟问题,特别是当嵌入需要大量计算时。为了缓解这种情况,可以预先计算嵌入并将其存储在缓存或数据库中,以加快检索速度。此外,无服务器平台通常在执行时间和内存方面存在限制,因此在这些环境中设计轻量级且高效的嵌入生成过程非常重要。