Hugging Face 演示如何从零训练 EsperBERTo 语言模型

Hugging Face 利用 Transformers 和 Tokenizers 库，在 Esperanto 语料上从零训练了名为 EsperBERTo 的 84M 参数小模型。该模型采用 52,000 词表的 Byte-level BPE 分词器，编码序列长度比 GPT-2 分词器短约 30%，并成功微调用于词性标注任务。