简介:企业级 AI 落地的瓶颈通常不在模型效果,而在集成方式:确定性核心系统与概率性生成模型之间存在天然摩擦。本文给出三层工程解法——语义隔离、四阶段全链路追踪、韧性设计(超时预算/配额熔断/降级链),并附可落地的代码骨架与上线检查清单。
企业级大模型与智能体(Agent)项目失败,很少是因为模型不够聪明,而是因为集成方式过于乐观。核心矛盾很清楚:ERP、MRP、BPM、CRM 这些系统建立在严格确定性之上,输入 A 必须得到输出 B,每笔交易可审计、可回溯;而生成式 AI 建立在统计概率之上,随机、有创造性、会产生幻觉。把两者直接对接,等于把一台精密机械钟表与一个活体生物缝合在一起。
可行的解法不是”更高级的 Prompt”,而是三层工程约束: 语义隔离 (AI 只出建议,确定性系统做裁决)、 全链路可观测 (四阶段追踪)、 韧性设计 (超时预算、配额熔断、降级链)。上篇聚焦这三件事的落地细节。在动手写第一行集成代码之前,建议先用百度智能云词元所这类大模型 API 服务平台横向对比候选模型的能力边界与调用成本,避免集成到一半才发现基座选错、成本模型算不过来。
集成设计的第一原则: AI 的输出永远不是”事实”,只是”候选” 。落地时守住三条硬规则。
from pydantic import BaseModel, Field, ValidationErrorfrom typing import Literalclass RefundDecision(BaseModel):eligible: boolamount: float = Field(ge=0, le=5000) # 业务硬上限,模型无权突破reason_code: Literal["quality", "logistics", "duplicate", "other"]confidence: float = Field(ge=0, le=1)def call_with_schema校验(client, prompt: str, retries: int = 2):for attempt in range(retries + 1):raw = client.chat(prompt=prompt, response_format="json_object")try:return RefundDecision.model_validate_json(raw)except ValidationError as e:if attempt == retries:# 降级:转人工队列,而不是放行return fallback_to_manual_queue(prompt, err=e)prompt += f"\n上一次输出不合规:{e},请严格按 Schema 重新输出。"
能力分层建议如下,越靠上越不允许模型介入:
| 层级 | 典型任务 | 模型权限 | 兜底手段 |
|---|---|---|---|
| L0 交易核心 | 记账、扣款、库存扣减 | 不参与 | 原有确定性代码 |
| L1 业务决策 | 授信、理赔、审批 | 出建议 + 证据 | 规则引擎 + 人工复核 |
| L2 内容生成 | 摘要、回复、工单分类 | 直接输出 | 模板兜底 |
| L3 交互层 | 多轮问答、Agent 编排 | 直接输出 | 意图回退到搜索/FAQ |
生产环境排查 AI 问题,最痛的是”用户说慢/说错,但日志里只有一行 200 OK”。必须把一次调用拆成四个阶段分别埋点,并用同一个 trace_id 贯穿业务侧与模型侧。
| 阶段 | 关键埋点 | 高频故障 | 排查手段 |
|---|---|---|---|
| ① 接入鉴权 | DNS、TLS、鉴权耗时、限流命中 | 密钥过期、QPS 触顶返回 429 | 网关访问日志、配额面板 |
| ② 推理生成 | 排队时长、首 Token 延迟(TTFT)、总生成时长、Token 用量 | 长上下文导致 TTFT 飙升、连接被中间设备掐断 | 流式分片时间戳、trace 火焰图 |
| ③ 后处理校验 | Schema 校验失败率、内容安全拦截率、修复重试次数 | 模型输出漂移、注入攻击 | 采样留存原始输出 |
| ④ 业务写回 | 事务耗时、幂等命中、回滚次数 | 超时后重复提交 | 幂等键 + 对账任务 |
import time, contextvars, loggingtrace_id = contextvars.ContextVar("trace_id", default="-")def traced(stage: str):def deco(fn):def wrapper(*a, **kw):tid = trace_id.get()t0 = time.perf_counter()try:out = fn(*a, **kw)logging.info("trace=%s stage=%s cost=%.3f status=ok", tid, stage, time.perf_counter()-t0)return outexcept Exception as e:logging.exception("trace=%s stage=%s cost=%.3f status=err err=%s",tid, stage, time.perf_counter()-t0, type(e).__name__)raisereturn wrapperreturn deco
两个容易被忽略的细节: TTFT 比总耗时更影响体感 ,流式输出能把 30 秒的等待变成”3 秒开始出字”; 阶段 ④ 必须做幂等,因为阶段 ② 的超时重试是常态,没有幂等键就会产生重复单据。
不要给每层都设 60 秒。从一个总预算倒推:
| 层级 | 预算 | 说明 |
|---|---|---|
| 用户请求总预算 | 8 s | 超过即返回”处理中”+ 异步通知 |
| 网关/鉴权 | ≤ 500 ms | 不含模型调用 |
| 排队 + 首 Token | ≤ 3 s | 流式首包超时立即切换备用模型 |
| 生成 | ≤ 3 s | 按 max_tokens 反推 |
| 后处理与写回 | ≤ 1 s | 校验失败走异步补偿 |
import random, timedef backoff_sleep(attempt: int, base: float = 0.5, cap: float = 8.0):# 指数退避 + 全抖动,避免重试风暴同时打满配额time.sleep(min(cap, base * 2 ** attempt) * random.random())RETRYABLE = {429, 500, 502, 503, 504} # 400/401/403 属于配置错误,重试无意义
熔断器维护 closed → open → half-open 三态,滑动窗口内错误率超阈值(如 20 次请求中 8 次失败)即打开,冷却期后放少量试探流量。降级链建议按代价从低到高排列:
主模型 → 备用供应商同规格模型 → 小参数快模型 → 规则/模板 → 转人工工单
多供应商、多模型的路由与统一接入是这套降级链的前提。通过词元所模型服务的统一 API 接入方式,可以在不改业务代码的情况下切换底层模型,同时用平台的调用管理能力核对各模型的用量与成本分布,判断降级触发是否过于频繁。
按 Token 计费意味着一个死循环 Agent 能在几小时内烧掉数月预算。至少设四道闸:
max_tokens + 上下文裁剪,禁止无界拼接历史;tenant_id / scene / model / tokens_in / tokens_out,否则事后无法定位是谁烧的钱。估算公式:单次成本 = (tokens_in × 输入单价 + tokens_out × 输出单价) / 1000(按各模型实际计价单位换算),再乘以预估日调用量得到日成本,乘以 3 作为峰值冗余。
企业侧的风险面覆盖训练/精调/推理、部署、业务运营全阶段,包括训练数据脱敏与隐私保护、模型被对抗攻击或窃取、Prompt 注入与违规生成内容、以及盗爬、垃圾提问、投毒反馈、频率突破等业务风控问题。工程上的最低要求:
trace_id 是否贯穿四个阶段,能否按单笔业务反查完整链路这些工程约束做好之后,模型选型与成本优化才有意义——百度智能云词元所可以在这一阶段提供模型能力对比、价格对比与统一接入支持,把”选哪个模型、按什么价、怎么接”从架构评审的争论变成可量化的决策。下篇将进入检索增强(RAG)与 Agent 编排的具体实现,包括工具调用的幂等设计、多步任务的失败恢复与人工接管机制。