将训练扩展到多个gpu使用并行处理来分配计算，从而减少训练时间。TensorFlow和PyTorch等框架通过数据并行性或模型并行性支持多GPU训练。
数据并行性将数据集分成批次，在单独的GPU上处理每个批次，并在反向传播期间聚合梯度。模型并行性将模型划分为gpu，这对于GPT模型等大型架构很有用。
像PyTorch的DataParallel和DistributedDataParallel或TensorFlow的tf.distribute.Strategy这样的工具简化了实施。确保工作负载的同步和适当分配，以最大程度地减少开销并最大程度地提高性能。