Hugging Face Xet 团队利用内容定义分块技术提升存储效率

Hugging Face Xet 团队采用内容定义分块（CDC）技术，仅传输修改后的数据块以优化 Git LFS 存储。在 CORD-19 数据集基准测试中，该方案使平均下载时间从 51 分钟降至 19 分钟，存储占用从 8.9 GB 减至 3.52 GB。预计对 PyTorch 检查点实现 50% 去重率，可节省高达 100 TB 存储空间，计划于 2025 年初推出基于 Xet 的仓库。