嵌入通过增加训练和推理所需的计算和存储资源来随着数据大小而扩展。随着数据集变大，生成嵌入的模型可能需要更多的参数或处理能力来学习数据点之间的关系。一般来说，更多的数据会导致更好的质量嵌入，因为模型可以学习更丰富的表示。然而，嵌入的可扩展性受到可用硬件资源的限制，例如GPU内存和存储。
例如，在大型文本语料库上训练单词嵌入需要大量的计算能力，并且随着数据的增长，可能需要在分布式环境中训练模型。类似地，随着数据点的数量增加，用于存储嵌入的存储要求也增加。批处理，分布式训练和使用专用硬件 (例如tpu) 等技术可以帮助扩展嵌入模型以处理大型数据集。
嵌入模型还可以使用降维或量化来帮助随着数据大小的增加而扩展。此外，高效的索引技术 (如近似最近邻 (ANN)) 可用于处理大的嵌入空间，并在数据大小增长时实现快速检索。