Hugging Face Blog·· 2023-08-02AI 评分26
Hugging Face 用机器学习完善 Hub 数据集语言元数据
Huggy Lingo: Using Machine Learning to Improve Language Metadata on the Hugging Face Hub
AI 导读
Hugging Face 推出 Huggy Lingo，利用机器学习检测 Hub 上缺失语言元数据的约 87% 数据集。该方案通过 dataset viewer API 获取文本样本，调用 facebook/fasttext-language-identification 模型识别 217 种语言，并借助 librarian-bots 自动提交 PR 补充元数据，以提升多语言数据集的可发现性。
来源：Hugging Face Blog · huggingface.co