简介:本文围绕大模型应用从演示走向生产,解析提示工程、上下文工程、Harness工程、循环工程与隔离工程,给出输入护栏、上下文编排、输出校验、失败降级和自动化评估的落地方案,并通过Text-to-SQL示例说明如何构建可度量、可恢复、可审计的AI工作流。
在演示里让大语言模型漂亮答对一次很容易,但生产环境要求同一条工作流在意外延迟、恶意提示注入、输出漂移和上游 schema 变更下仍然稳定。打造有韧性的 AI 工程,核心不是继续堆叠提示词,而是把非确定性模型封装进确定性的软件外壳。若你正在做模型选型、接入和调用管理,可以先通过百度智能云词元所了解模型发现、价格与性能对比、统一 API 接入等能力,为后续工程化落地打好基础。
很多 AI 项目停留在原型阶段,是因为它们只关注“模型能不能答对”,却没有回答“系统能不能扛住”。一条可上线的 AI 工作流,至少要满足四个条件:
以自然语言转 SQL 为例,如果模型 100 次里有 99 次生成完美查询,却在第 100 次幻觉出一张不存在的表,或者把 SELECT 写成 UPDATE,这就不是可靠应用,而是生产环境里的潜在事故。因此,AI 工程的重点不是追求模型“永远正确”,而是确保错误能被拦截、解释和恢复。
提示工程不只是写一句“你是专家”。在生产环境中,提示词需要明确任务边界、输入格式、输出契约和拒答策略。例如:
提示词的目标不是让模型更“能说”,而是让模型更“可控”。
上下文工程关注模型在推理前能看到什么。常见做法包括:
上下文不是越多越好,而是要保证模型只看到当前任务必需、可信、合规的信息。
Harness 是围绕模型构建的约束与编排层。一个典型的 Harness 可以包含四层:
| 层级 | 作用 | 关键措施 |
|---|---|---|
| 输入护栏层 | 拦截非法请求 | 内容清洗、注入检测、鉴权限流 |
| 编排层 | 组装上下文 | RAG、schema 注入、动态 Few-Shot |
| 模型调用层 | 控制模型行为 | 超时、重试、模型路由、Token 限制 |
| 输出校验层 | 保证结果可执行 | Schema 校验、AST 解析、权限检查 |
LLM 内核天生是概率性的,但外围架构必须尽量确定。Harness 的价值,就是把“可能出错”的模型输出转化为“可验证、可拦截、可回滚”的工程结果。
在 Agent 场景中,模型可能需要多轮调用工具、反思结果、修正答案。但循环必须有限:
循环工程的目标不是让模型无限思考,而是在可控成本内完成纠错。
AI 工作流经常接触数据库、文件、API 和业务系统,因此必须做隔离:
没有隔离的 AI 能力,放大了效率,也放大了风险。
Text-to-SQL 是适合展示 AI 工程韧性的典型场景,因为它的成败可以被客观判定:SQL 是否合法、是否只读、是否访问了不存在的表、是否能成功执行。
一个可落地的 Harness 可以这样设计:
def text_to_sql_harness(query, user):clean = sanitize_input(query)if detect_prompt_injection(clean):return refuse("请求包含不安全指令")schema = get_visible_schema(user)prompt = build_text_to_sql_prompt(clean, schema)sql = call_llm(prompt, output_type="sql")ast = parse_sql(sql)if not is_read_only(ast):return refuse("仅允许查询语句")if not tables_columns_exist(ast, schema):return clarify("缺少必要表或字段")if not within_query_budget(ast):return refuse("查询成本超出限制")return execute_readonly(ast, timeout=3)
这个流程的关键不是模型本身,而是模型外围的确定性检查:
sanitize_input 负责清洗非法字符;detect_prompt_injection 拦截提示注入;get_visible_schema 保证模型只看到权限内结构;parse_sql 和 is_read_only 阻止 UPDATE、DELETE、DROP 等危险语句;tables_columns_exist 防止幻觉表;execute_readonly 用最小权限执行查询。这样,即使模型偶尔生成错误 SQL,系统也能在入口处拦截,而不是把风险直接暴露给生产数据库。
AI 应用上线不是终点,而是持续评估的开始。建议为每条关键工作流建立自动化评估流水线。
评测集不应只有正常问题,还应覆盖:
每次修改模型、提示词、上下文策略或 schema 后,都应自动运行回归测试。核心指标包括:
只有当关键指标不低于基线时,才允许发布新版本。
上线后还需要持续采样真实请求,观察失败类型、用户反馈和成本变化。对于高风险场景,可以采用灰度发布:先让 1% 流量进入新模型或新提示词,确认指标稳定后再扩大范围。
韧性不仅来自代码,也来自合理的模型选型。不同模型在 SQL 生成、结构化抽取、长上下文理解、多轮 Agent 任务上的表现和成本差异明显。团队可以通过词元所模型服务对比模型能力与调用成本,选择与业务场景匹配的模型,而不是盲目追求参数规模。
在多模型接入阶段,统一 API 能显著降低集成复杂度。通过大模型 API 服务平台进行统一接入和调用管理,团队可以更清晰地追踪调用情况、Token 消耗和失败原因,为后续优化提供依据。
如果你正在把 AI 原型推向生产,可以按以下清单检查:
AI 工程的目标,不是让模型看起来更聪明,而是让系统更可信。真正有韧性的 AI 应用,不是永远不犯错,而是在错误发生时,仍然能被约束、被拦截、被解释,并且安全地继续运行。