跳到正文
原文
Hugging Face Blog·· 2024-02-08精选AI 评分68

Hugging Face TGI 发布兼容 OpenAI 的 Messages API

From OpenAI to Open LLMs with Messages API on Hugging Face

AI 导读

Hugging Face 在 Text Generation Inference (TGI) v1.4.0 中推出 Messages API,提供与 OpenAI Chat Completion API 的兼容性,允许用户从 OpenAI 模型无缝迁移到开源 LLM。

推荐理由

TGI 1.4.0 新增兼容 OpenAI Chat Completion API 的 Messages API,支持通过修改 base_url 无缝切换至开源模型,并兼容 LangChain 和 LlamaIndex。

来源:Hugging Face Blog · huggingface.co