简介:企业同时使用多个模型和Agent时,成本超支、密钥分散、调用不可追溯等问题会接踵而至。本文说明AI网关如何统一接入、路由、计量与审计,并给出预算告警、脱敏日志和灰度回滚的具体做法,帮助团队先控住成本与风险,再逐步扩展能力。
本文讨论的是一类企业级AI网关方案,文中的Unity AI Gateway按通用方案理解,不代表Unity官方产品。部署边界、版本能力和接口细节,请以所用平台的官方文档为准。
Demo阶段常见的做法是在代码里写死密钥、模型名和超时时间。这种方式能跑通流程,但进入生产后,问题会陆续出现。
AI网关要解决的正是这些反复出现的问题。它为模型调用提供一个统一入口,让认证、路由、配额、计量和日志都可以配置、可以审计。
| 模块 | 解决的问题 | 常见策略 |
|---|---|---|
| 统一接入 | 屏蔽供应商差异 | 统一聊天、嵌入和工具调用接口 |
| 路由分发 | 按需选择模型 | 按场景、成本、延迟、可用性选择 |
| 鉴权与配额 | 防止滥用 | 租户、应用、用户级密钥与限额 |
| 成本计量 | 追踪消耗 | 输入、输出、工具调用分别统计 |
| 安全治理 | 降低内容风险 | 注入检测、敏感信息识别与脱敏 |
| 观测审计 | 支持排障与运营 | 结构化日志、链路追踪、指标告警 |
路由是成本治理的关键环节。下面是一组示例规则,阈值需要按自身业务调整。
| 条件 | 路由目标 | 说明 |
|---|---|---|
| 简单问答,输入低于2000 Token | 轻量模型 | 成本优先 |
| 多步推理或代码生成 | 高能力模型 | 质量优先 |
| 主模型超时或返回5xx | 备用模型 | 连续失败3次后熔断5分钟 |
| 高频固定问题 | 缓存 | 命中时不调用模型 |
网关处理一次请求的大致链路如下:
业务客户端 / Agent / 内部系统↓AI 网关├─ 身份认证与租户识别├─ 请求校验与内容安全├─ 配额检查与模型路由├─ Token 计量与审计日志└─ 降级与重试↓LLM服务 / 工具服务 / 检索服务 / 向量数据库
核心逻辑可以用下面的伪代码表示。代码不依赖具体框架,超时和重试次数只是示例值。
async def chat_completions(request):tenant = authenticate(request) # 校验身份,识别租户body = validate_schema(await request.json())check_quota(tenant) # 预算或配额不足时直接拒绝body = sanitize_input(body) # 脱敏与注入检测model = route_model(body, tenant)request_id = body.get("request_id") or new_id()if is_duplicate(tenant, request_id): # 幂等处理,防止重试导致重复计费return cached_result(request_id)usage, status = {}, "error"try:response = await call_with_retry(model, body, timeout=30, max_retries=2)usage, status = response.get("usage", {}), "ok"return responseexcept ModelUnavailable:model = fallback_model(tenant)response = await call_with_retry(model, body, timeout=30, max_retries=1)usage, status = response.get("usage", {}), "fallback"return responsefinally:record_usage(tenant, model, request_id, usage, status) # 失败请求也要计量log_audit(tenant, model, request_id, status) # 只记录元数据,不记录完整内容
这段代码的重点在于把认证、配额、路由、计量和日志从业务代码中抽离出来。业务团队专注提示词和流程,治理策略由平台统一维护。
企业AI应用的成本通常由以下几部分组成:
总成本 = 输入Token成本 + 输出Token成本 + 工具调用成本 + 检索与存储成本
只盯着模型单价,很容易漏掉上下文长度、重试次数、Agent多轮调用和工具链消耗。一个Agent任务可能只显示为一次用户请求,实际却包含规划、检索、工具调用、反思和二次生成等多个模型步骤。
计量时需要统一口径,否则不同团队的数据无法对齐。
预算告警可以参考下面的检查表。
| 检查项 | 阈值示例 | 处理动作 |
|---|---|---|
| 租户日预算使用率 | 达到70% | 通知负责人 |
| 租户日预算使用率 | 达到100% | 拒绝新请求,或降级到轻量模型 |
| 单次请求输入Token | 超过32K | 检查上下文是否含冗余历史 |
| 请求重试率 | 连续1小时超过5% | 检查供应商稳定性 |
| 缓存命中率 | 低于预期基线 | 检查缓存键的设计 |
| 单Agent平均调用轮数 | 明显高于基线 | 检查是否陷入循环调用 |
除告警外,还可以通过模型分级、上下文压缩和缓存复用降低成本。简单任务用轻量模型,历史对话只保留必要部分,固定模板和高频问题走缓存。
网关是安全边界的重要组成部分,建议至少落实以下措施。