OpenAI接口兼容介绍
更新时间:2025-03-03
千帆ModelBuilder提供了与OpenAI兼容的使用方式,用户只需调整api_key、base_url、model等参数,就可以通过OpenAI SDK调用千帆ModelBuilder推理服务。
base_url说明
base_url指模型服务的请求地址。通过该地址,可以请求服务提供的功能或数据。当使用OpenAI兼容接口调用千帆ModelBuilder模型服务时,需要配置base_url。
- 需要配置的base_url如下:
https://qianfan.baidubce.com/v2
api_key说明
api_key值示例如:bce-v3/ALTAK-KZke********/f1d6ee*************
。可以通过多种方式获取,以下通过产品控制台获取为例说明,更多获取方式请参考如何获取API Key。
api_key是在调用推理服务V2版本 API时使用,通过在控制台-用户账号-安全认证-API Key页面,查看API Key,此API Key永久有效,如下图所示。
default_headers说明
可以使用default_headers设置appid,appid值是V2版本对应的应用ID,可以根据需求选择是否设置。如何获取请参考名词解释-V2版本应用ID。
注意:如果无应用,需要先创建V2版本服务对应的应用。
支持的模型列表
目前推理服务V2版本兼容通过OpenAI方式调用,请查看SDK参考-推理服务API V2-对话Chat V2支持模型列表。
通过OpenAI SDK调用示例
以Python SDK为例说明。
前提条件
- 确保已安装最新版OpenAI SDK。
- 请选择需要使用的模型,模型列表请查看对话Chat V2支持模型列表。
调用示例
用户可以通过OpenAI SDK调用千帆ModelBuilder推理服务V2版本接口,以下以Python SDK调用为例说明。
from openai import OpenAI
client = OpenAI(
api_key="bce-v3/ALTAK-KZke********/f1d6ee*************", # 千帆ModelBuilder平台API Key,在控制台-点击头像-安全认证-API key页面获取,控制台页面地址如https://console.bce.baidu.com/iam/#/iam/apikey/list
base_url="https://qianfan.baidubce.com/v2", # 千帆ModelBuilder平台域名
default_headers={"appid": "app-Mu***q6"} # 千帆ModelBuilder平台应用ID,非必传
)
completion = client.chat.completions.create(
model="ernie-4.0-turbo-8k", # 预置服务请查看支持的模型列表
messages=[{'role': 'system', 'content': 'You are a helpful assistant.'},
{'role': 'user', 'content': 'Hello!'}]
)
print(completion.choices[0].message)