Hugging Face Blog·· 2025-10-27精选AI 评分62
Hugging Face 发布 datasets 库流式加载重大更新，效率提升百倍
Streaming datasets: 100x More Efficient
AI 导读
Hugging Face 对 `datasets` 库的流式加载功能进行了底层重构，实现了启动请求减少 100 倍、数据解析速度提升 10 倍以及样本吞吐量翻倍。
推荐理由
Hugging Face 优化了 datasets 库的流式加载后端，通过减少请求风暴和引入预取机制，使大规模训练无需下载即可达到接近本地 SSD 的速度。
来源：Hugging Face Blog · huggingface.co