训练神经网络所需的数据量取决于模型的复杂性和问题域。通常，较大的模型和复杂的任务 (如图像识别或语言建模) 需要更多的数据。经验法则是具有模型参数的10-100倍的示例。
对于小规模的问题，几千个例子就足够了，尤其是像迁移学习这样的技术。迁移学习利用预先训练的模型，减少微调所需的数据。例如，在医学成像数据集上微调预先训练的ResNet可能只需要几千个标记的示例。
另一方面，像GPT这样的大型模型需要跨越数百万甚至数十亿个示例的庞大数据集。合成数据生成、数据增强和主动学习可以帮助缓解数据稀缺问题。确保数据质量与拥有足够的数据同等重要。