Hugging Face Blog·· 2025-12-18AI 评分42
Transformers v5 重构 Tokenizer:分离架构与词表,支持自定义训练
Tokenization in Transformers v5: Simpler, Clearer, and More Modular
AI 导读
Transformers v5 重新设计 tokenizer 机制,将 tokenizer 架构与训练词表分离,类似 PyTorch 分离网络结构与权重。该更新提供清晰的类层级和单一快速后端,允许用户直接检查、定制及从零训练模型专用 tokenizer,显著降低使用摩擦并提升透明度。
来源:Hugging Face Blog · huggingface.co