企业AI网关:统一治理Agent与LLM调用

作者:Nicky2026.11.17 03:39浏览量:0

简介:企业同时使用多个模型和Agent时,成本超支、密钥分散、调用不可追溯等问题会接踵而至。本文说明AI网关如何统一接入、路由、计量与审计,并给出预算告警、脱敏日志和灰度回滚的具体做法,帮助团队先控住成本与风险,再逐步扩展能力。

agent-llm-">企业AI网关:统一治理Agent与LLM调用

先说明范围

本文讨论的是一类企业级AI网关方案,文中的Unity AI Gateway按通用方案理解,不代表Unity官方产品。部署边界、版本能力和接口细节,请以所用平台的官方文档为准。

一、直连模型在生产环境会出什么问题

Demo阶段常见的做法是在代码里写死密钥、模型名和超时时间。这种方式能跑通流程,但进入生产后,问题会陆续出现。

  • 成本失控:各团队和各Agent各自调用模型,没有统一预算和配额,往往要等到月底账单出来才发现超支。
  • 密钥分散:API Key散落在代码、脚本和第三方系统中,无法统一轮换和回收。
  • 接口不一致:不同供应商的请求格式、返回结构和错误码各不相同,业务代码要为每个供应商单独写适配层。
  • 观测缺失:无法回答某次请求消耗了多少Token、调用了哪个工具、失败发生在哪一步。
  • 安全薄弱:提示词注入、敏感数据外泄和越权调用工具,缺少统一的拦截点。

AI网关要解决的正是这些反复出现的问题。它为模型调用提供一个统一入口,让认证、路由、配额、计量和日志都可以配置、可以审计。

二、网关的六个核心模块

模块 解决的问题 常见策略
统一接入 屏蔽供应商差异 统一聊天、嵌入和工具调用接口
路由分发 按需选择模型 按场景、成本、延迟、可用性选择
鉴权与配额 防止滥用 租户、应用、用户级密钥与限额
成本计量 追踪消耗 输入、输出、工具调用分别统计
安全治理 降低内容风险 注入检测、敏感信息识别与脱敏
观测审计 支持排障与运营 结构化日志、链路追踪、指标告警

路由是成本治理的关键环节。下面是一组示例规则,阈值需要按自身业务调整。

条件 路由目标 说明
简单问答,输入低于2000 Token 轻量模型 成本优先
多步推理或代码生成 高能力模型 质量优先
主模型超时或返回5xx 备用模型 连续失败3次后熔断5分钟
高频固定问题 缓存 命中时不调用模型

三、请求链路与核心逻辑

网关处理一次请求的大致链路如下:

  1. 业务客户端 / Agent / 内部系统
  2. ↓
  3. AI 网关
  4. ├─ 身份认证与租户识别
  5. ├─ 请求校验与内容安全
  6. ├─ 配额检查与模型路由
  7. ├─ Token 计量与审计日志
  8. └─ 降级与重试
  9. ↓
  10. LLM服务 / 工具服务 / 检索服务 / 向量数据库

核心逻辑可以用下面的伪代码表示。代码不依赖具体框架,超时和重试次数只是示例值。

  1. async def chat_completions(request):
  2. tenant = authenticate(request) # 校验身份,识别租户
  3. body = validate_schema(await request.json())
  4. check_quota(tenant) # 预算或配额不足时直接拒绝
  5. body = sanitize_input(body) # 脱敏与注入检测
  6. model = route_model(body, tenant)
  7. request_id = body.get("request_id") or new_id()
  8. if is_duplicate(tenant, request_id): # 幂等处理,防止重试导致重复计费
  9. return cached_result(request_id)
  10. usage, status = {}, "error"
  11. try:
  12. response = await call_with_retry(model, body, timeout=30, max_retries=2)
  13. usage, status = response.get("usage", {}), "ok"
  14. return response
  15. except ModelUnavailable:
  16. model = fallback_model(tenant)
  17. response = await call_with_retry(model, body, timeout=30, max_retries=1)
  18. usage, status = response.get("usage", {}), "fallback"
  19. return response
  20. finally:
  21. record_usage(tenant, model, request_id, usage, status) # 失败请求也要计量
  22. log_audit(tenant, model, request_id, status) # 只记录元数据,不记录完整内容

这段代码的重点在于把认证、配额、路由、计量和日志从业务代码中抽离出来。业务团队专注提示词和流程,治理策略由平台统一维护。

四、成本治理:从能调用到可运营

企业AI应用的成本通常由以下几部分组成:

  1. 总成本 = 输入Token成本 + 输出Token成本 + 工具调用成本 + 检索与存储成本

只盯着模型单价,很容易漏掉上下文长度、重试次数、Agent多轮调用和工具链消耗。一个Agent任务可能只显示为一次用户请求,实际却包含规划、检索、工具调用、反思和二次生成等多个模型步骤。

计量时需要统一口径,否则不同团队的数据无法对齐。

  • 输入Token与输出Token按供应商的计费单价分别统计,不混在一起算。
  • 每一次真正发出的请求都计入成本,包括重试。失败请求如果供应商已计费,同样要记录。
  • 缓存命中计入请求数,成本记为零,并单独统计命中率。
  • 工具调用按供应商或内部定义的计费单位计入。Agent的每一轮规划都要单独计量。
  • 幂等去重后的重复请求只计一次。

预算告警可以参考下面的检查表。

检查项 阈值示例 处理动作
租户日预算使用率 达到70% 通知负责人
租户日预算使用率 达到100% 拒绝新请求,或降级到轻量模型
单次请求输入Token 超过32K 检查上下文是否含冗余历史
请求重试率 连续1小时超过5% 检查供应商稳定性
缓存命中率 低于预期基线 检查缓存键的设计
单Agent平均调用轮数 明显高于基线 检查是否陷入循环调用

除告警外,还可以通过模型分级、上下文压缩和缓存复用降低成本。简单任务用轻量模型,历史对话只保留必要部分,固定模板和高频问题走缓存。

五、安全、权限与审计

网关是安全边界的重要组成部分,建议至少落实以下措施。

  • 密钥集中管理:业务代码不保存原始模型密钥。网关按租户签发访问凭证,并支持轮换和吊销。
  • 租户隔离:不同部门和应用使用独立的配额、日志空间和访问权限。
  • 最小权限:Agent只能调用其声明过的工具和数据源,调用前校验参数。
  • 日志脱敏:审计日志默认只记录请求ID、租户、模型、Token数、状