Hugging Face 质疑大模型“新摩尔定律”：Megatron-Turing NLG 530B 成本与能耗过高

Microsoft 和 NVIDIA 推出的 Megatron-Turing NLG 530B 模型需近 $100 million 基础设施且能耗巨大，Hugging Face 认为其性价比低。文章主张采用预训练、微调及小型化策略，如 DistilBERT 保留 97% 性能但体积减小 40%，T0 模型比 GPT-3 小 16 倍却表现更优。