简介:本文介绍 AI/ML API 的统一接入方式:如何用 OpenAI 兼容接口调用 300 多个模型,怎样完成首次调用、Embedding 与多模态请求,如何按场景选型、设计重试与降级,并把 Token 成本控制在预算内。
AI/ML API 是一个模型聚合平台。它把 DeepSeek、Gemini、GPT 系列、Claude、Llama、Mistral 等 300 多个模型放在同一套接口后面,并对外提供 OpenAI 兼容的 API 规范。平台宣称提供企业级速率限制与高可用保障,具体指标请以官方服务条款为准。
对开发者来说,主要有三点变化:
base_url 和模型名即可切换后端。OpenAI 兼容格式已经被许多工具支持。Chatbox 等客户端只需填写接口域名、路径和密钥。One API 这类网关则可以通过添加渠道实现多模型分发。
在平台控制台创建密钥。密钥应保存在环境变量中,不要硬编码进代码,也不要提交到代码仓库。
export AIML_API_KEY="你的密钥"
OpenAI 兼容的关键在于 base_url。使用官方 SDK 时,只需覆盖这一项。接入地址请从平台控制台或官方文档复制,不要凭经验填写。
import osfrom openai import OpenAIclient = OpenAI(api_key=os.environ["AIML_API_KEY"],base_url="<平台文档给出的接入地址,例如 https://.../v1>",)
resp = client.chat.completions.create(model="deepseek/deepseek-chat", # 模型名以平台模型列表为准messages=[{"role": "system", "content": "你是一名严谨的技术文档编辑。"},{"role": "user", "content": "用三句话解释什么是 Token。"},],temperature=0.3,max_tokens=512,)print(resp.choices[0].message.content)print("total tokens:", resp.usage.total_tokens)
choices 是一个列表,因此要用 choices[0] 取出第一条回复。
也可以用 curl 检查连通性,把 URL 换成同一个接入地址:
curl "<接入地址>/chat/completions" \-H "Authorization: Bearer $AIML_API_KEY" \-H "Content-Type: application/json" \-d '{"model": "gemini/gemini-1.5-flash","messages": [{"role": "user", "content": "ping"}]}'
返回结构、stream 流式参数和 tools 函数调用字段都与 OpenAI 保持一致。LangChain、LlamaIndex、Dify 等工具一般可以直接对接,但仍需用实际返回结果做一次验证。
向量化用于 RAG、语义检索和聚类去重。接口形态与对话类似:
这里有两点要注意。第一,向量维度必须与向量库 Collection 的设定一致。第二,更换 Embedding 模型后,旧向