Hugging Face 详解 WWDC 24 Core ML 新特性运行 Mistral 7B

Hugging Face 发布教程，指导开发者利用 WWDC 24 引入的 Core ML 新特性在 Mac 上运行 Mistral 7B 模型。通过 Swift Tensor、Stateful Buffers 和块量化技术，该方案能将 70 亿参数模型的内存占用降至 4GB 以下。