Hugging Face Blog·· 2024-12-19精选AI 评分82
Answer.AI 与 LightOn 联合发布 ModernBERT：BERT 的现代替代方案
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 和 LightOn 发布 ModernBERT，这是一系列基于 Transformer++ 架构的 state-of-the-art 编码器模型，旨在全面替代 BERT。
推荐理由
ModernBERT 将 LLM 架构改进引入编码器，提供 8k 上下文和代码理解能力，为检索和分类任务带来显著效率提升。
来源：Hugging Face Blog · huggingface.co