Hugging Face Blog·· 2023-04-26AI 评分38
Databricks 与 Hugging Face 集成：LLM 训练速度提升最高达 40%
Databricks ❤️ Hugging Face: up to 40% faster training and tuning of Large Language Models
AI 导读
Databricks 向 Hugging Face 代码库提交官方更新，新增 `from_spark` 函数以直接创建数据集。该功能消除了写入 Parquet 文件的中间步骤，使 16GB 数据的处理时间从 22 分钟缩短至 12 分钟，效率提升超 40%。
来源：Hugging Face Blog · huggingface.co