Hugging Face 优化 Hub Parquet 存储去重效率

Hugging Face Xet 团队针对 Hub 上超 2.2PB 的 Parquet 数据，测试基于字节级内容定义分块（CDC）的去重效果。实验显示追加操作可实现 99.1% 去重，但修改和删除因列头偏移及压缩导致去重率降至 89% 或更低。团队提出按 Key 哈希划分行组的新方案，以在保持压缩的同时提升跨版本去重效率。