跳到正文
原文
Hugging Face Blog·· 2025-12-18AI 评分42

Transformers v5 重构 Tokenizer:分离架构与词表,支持自定义训练

Tokenization in Transformers v5: Simpler, Clearer, and More Modular

AI 导读

Transformers v5 重新设计 tokenizer 机制,将 tokenizer 架构与训练词表分离,类似 PyTorch 分离网络结构与权重。该更新提供清晰的类层级和单一快速后端,允许用户直接检查、定制及从零训练模型专用 tokenizer,显著降低使用摩擦并提升透明度。

来源:Hugging Face Blog · huggingface.co