BigCode 大规模近重复数据去重实践

BigCode 项目采用 MinHash LSH 算法对代码数据集进行大规模文档级近重复去重，以解决数据冗余导致的模型幻觉与隐私风险。该方法通过设置 Jaccard 相似度阈值等参数优化训练效率，并防止基准测试污染。