OpenAI 揭示 CNN、ResNet 和 Transformer 中的深度双重下降现象

OpenAI 研究证实，CNN、ResNet 和 Transformer 均存在“双重下降”现象：随着模型规模、数据量或训练时间增加，性能先提升后下降再回升。该效应通常通过精细的正则化避免，但其成因尚未完全明确，被视为重要的后续研究方向。