OpenAI News·· 2024-10-01AI 评分50
OpenAI API 推出 Prompt Caching 功能
Prompt Caching in the API
AI 导读
OpenAI 在 API 中推出 Prompt Caching 功能,对模型近期已处理的输入提供自动折扣。该机制旨在通过复用缓存内容降低调用成本,提升高频交互场景下的经济性。
来源:OpenAI News · openai.com
Prompt Caching in the API
OpenAI 在 API 中推出 Prompt Caching 功能,对模型近期已处理的输入提供自动折扣。该机制旨在通过复用缓存内容降低调用成本,提升高频交互场景下的经济性。
来源:OpenAI News · openai.com