OpenAI接口兼容
更新时间：2024-11-15
千帆ModelBuilder提供了与OpenAI兼容的使用方式，用户只需调整api_key、base_url、model等参数，就可以通过OpenAI SDK调用千帆ModelBuilder推理服务。
base_url说明
base_url指模型服务的请求地址。通过该地址，可以请求服务提供的功能或数据。当使用OpenAI兼容接口调用千帆ModelBuilder模型服务时，需要配置base_url。
- 需要配置的base_url如下：
https://qianfan.baidubce.com/v2
api_key说明
api_key值，可以通过调用创建BearerToken接口获取，详情请参考创建BearerToken。
api_key值示例如下：bce-v3/ALTAK-KZke********/f1d6ee*************。
default_headers说明
可以使用default_headers设置appid，appid值是V2版本对应的应用ID，可以根据需求选择是否设置。如何获取请参考名词解释-V2版本应用ID。
注意：如果无应用，需要先创建V2版本服务对应的应用。
支持的模型列表
目前推理服务V2版本兼容通过OpenAI方式调用，支持的模型列表请查看对话Chat V2-模型支持列表。
通过OpenAI SDK调用
前提条件
- 确保已安装最新版OpenAI SDK。
- 请选择需要使用的模型，模型列表请查看对话Chat V2-模型支持列表。
调用示例
用户可以通过OpenAI SDK调用千帆ModelBuilder推理服务V2版本接口。
from openai import OpenAI
client = OpenAI(
api_key="bce-v3/ALTAK-KZke********/f1d6ee*************", # 千帆ModelBuilder平台bearer token
base_url="https://qianfan.baidubce.com/v2", # 千帆ModelBuilder平台域名
default_headers={"appid": "app-Mu***q6"} # 千帆ModelBuilder平台应用ID，非必传
)
completion = client.chat.completions.create(
model="ernie-4.0-turbo-8k", # 预置服务请查看支持的模型列表
messages=[{'role': 'system', 'content': 'You are a helpful assistant.'},
{'role': 'user', 'content': 'Hello！'}]
)
print(completion.choices[0].message)