AI/ML API 入门:一套接口调用300多个模型

作者:Nicky2026.11.17 03:15浏览量:0

简介:本文介绍 AI/ML API 的统一接入方式:如何用 OpenAI 兼容接口调用 300 多个模型,怎样完成首次调用、Embedding 与多模态请求,如何按场景选型、设计重试与降级,并把 Token 成本控制在预算内。

一、先搞清楚它能做什么

AI/ML API 是一个模型聚合平台。它把 DeepSeek、Gemini、GPT 系列、Claude、Llama、Mistral 等 300 多个模型放在同一套接口后面,并对外提供 OpenAI 兼容的 API 规范。平台宣称提供企业级速率限制与高可用保障,具体指标请以官方服务条款为准。

对开发者来说,主要有三点变化:

  • 无需为每家厂商单独接入 SDK。代码支持 OpenAI 接口后,只需修改 base_url 和模型名即可切换后端。
  • 业务代码与模型解耦,同一套逻辑可以在不同模型之间迁移,降低对单一供应商的依赖。
  • 对话(Chat Completion)、向量化(Embedding)和图像、音频等多模态能力共用同一套鉴权。

OpenAI 兼容格式已经被许多工具支持。Chatbox 等客户端只需填写接口域名、路径和密钥。One API 这类网关则可以通过添加渠道实现多模型分发。

二、三步完成第一次调用

1. 创建并保存 API Key

在平台控制台创建密钥。密钥应保存在环境变量中,不要硬编码进代码,也不要提交到代码仓库。

  1. export AIML_API_KEY="你的密钥"

2. 设置 base_url

OpenAI 兼容的关键在于 base_url。使用官方 SDK 时,只需覆盖这一项。接入地址请从平台控制台或官方文档复制,不要凭经验填写。

  1. import os
  2. from openai import OpenAI
  3. client = OpenAI(
  4. api_key=os.environ["AIML_API_KEY"],
  5. base_url="<平台文档给出的接入地址,例如 https://.../v1>",
  6. )

3. 发起对话请求

  1. resp = client.chat.completions.create(
  2. model="deepseek/deepseek-chat", # 模型名以平台模型列表为准
  3. messages=[
  4. {"role": "system", "content": "你是一名严谨的技术文档编辑。"},
  5. {"role": "user", "content": "用三句话解释什么是 Token。"},
  6. ],
  7. temperature=0.3,
  8. max_tokens=512,
  9. )
  10. print(resp.choices[0].message.content)
  11. print("total tokens:", resp.usage.total_tokens)

choices 是一个列表,因此要用 choices[0] 取出第一条回复。

也可以用 curl 检查连通性,把 URL 换成同一个接入地址:

  1. curl "<接入地址>/chat/completions" \
  2. -H "Authorization: Bearer $AIML_API_KEY" \
  3. -H "Content-Type: application/json" \
  4. -d '{
  5. "model": "gemini/gemini-1.5-flash",
  6. "messages": [{"role": "user", "content": "ping"}]
  7. }'

返回结构、stream 流式参数和 tools 函数调用字段都与 OpenAI 保持一致。LangChain、LlamaIndex、Dify 等工具一般可以直接对接,但仍需用实际返回结果做一次验证。

三、Embedding 与多模态

向量化用于 RAG、语义检索和聚类去重。接口形态与对话类似:

  1. emb = client.embeddings.create(
  2. model="text-embedding-3-small", # 以平台模型列表中的名称为准
  3. input=["大模型 API 网关如何做负载均衡", "多模型路由的实现思路"],
  4. )
  5. vectors = [d.embedding for d in emb.data]
  6. print("向量条数:", len(vectors))
  7. print("向量维度:", len(vectors[0]))

这里有两点要注意。第一,向量维度必须与向量库 Collection 的设定一致。第二,更换 Embedding 模型后,旧向