BERT 101：Google AI 开发的 SOTA NLP 模型详解

Google AI 于 2018 年开发 BERT，利用 Transformer 架构和双向编码解决 11+ 种常见 NLP 任务。该模型在 3.3B 词数据上训练，使用 64 个 TPU 耗时 4 天完成。DistilBERT 等轻量版运行速度提升 60%，保持超 95% 性能。