Hugging Face 推出 Chat Templates 以解决聊天模型格式错配问题

Hugging Face 在 tokenizers 中引入 chat_template 属性，允许使用 Jinja 模板保存和加载模型训练时的聊天格式。该功能旨在解决不同模型采用各异的消息转换格式导致输入分布偏移、进而引发严重且难以调试的性能下降问题。开发者可通过 tokenizer.apply_chat_template() 方法自动格式化对话历史，确保推理或微调时的输入与训练数据一致。