OpenAI 发现梯度噪声尺度可预测神经网络训练并行化能力

OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练的并行化能力。由于复杂任务梯度更嘈杂，未来更大批量大小将变得有用，从而消除 AI 系统进一步增长的潜在限制。