每层神经元的数量取决于模型需要学习的特征的复杂性。更多的神经元允许网络捕获复杂的模式,但太多会导致过度拟合。一种常见的方法是从较少的神经元开始,并在监视验证性能的同时逐渐增加。
输入层和输出层具有基于数据维度和任务要求的固定大小。对于隐藏层,选择神经元计数为2的幂 (例如,64、128、256) 是平衡模型容量和计算效率的实用启发式方法。
如果模型有太多的神经元,诸如dropout或weight decay之类的正则化技术可以帮助管理过度拟合。使用网格搜索或贝叶斯优化等超参数调整工具进行实验也可以帮助找到神经元计数的最佳配置。