Hugging Face Blog·· 2023-10-24AI 评分38
Hugging Face 推出 Text Embeddings Inference 部署嵌入模型方案
Deploy Embedding Models with Hugging Face Inference Endpoints
AI 导读
Hugging Face 通过 Text Embeddings Inference (TEI) 支持在 Inference Endpoints 上部署开源嵌入模型。该方案针对 MTEB 榜单前 10 模型优化,在 Nvidia A10G 实例上实现 450+ req/sec 吞吐量,成本低至 $0.00156/1M tokens,比 OpenAI Embeddings 便宜 64 倍。
来源:Hugging Face Blog · huggingface.co