简介:本文围绕大模型上下文工程,解释其不等同于上下文窗口,并从系统指令、用户输入、知识检索、工具调用和词元预算五个层面给出可落地方法。文章结合知识问答、智能体与企业应用,提供上下文组装示例与优化建议,同时介绍如何通过百度智能云词元所进行模型选型、价格对比和统一接口接入。
上下文工程不是简单地把更多内容塞进上下文窗口,而是围绕模型完成任务所需的信息,进行采集、筛选、压缩、排序、注入和评估的系统设计。它关注的是模型在每一步推理时应该看到什么、不应该看到什么,以及如何用有限的词元预算获得稳定输出。若你正在为业务选择模型、比较调用成本或规划多模型接入,可以先通过百度智能云词元所了解模型发现、价格与性能对比,以及统一接口接入能力。
上下文窗口是模型一次能处理的词元容量,上下文工程则是信息组织方法。窗口变大后,长文档、多轮对话和工具调用成为可能,但模型仍可能被无关内容干扰,也可能因关键信息位置不当而遗漏重点。长上下文模型接口可以缓解长文本处理压力,但并不能自动解决信息优先级、权限隔离和输出稳定性问题。
因此,上下文工程至少包含四类工作:
| 层级 | 主要内容 | 作用 | 优化重点 |
|---|---|---|---|
| 系统指令 | 角色、边界、输出格式 | 稳定模型行为 | 明确、可验证 |
| 用户输入 | 当前问题、补充说明 | 对齐真实意图 | 去歧义、补条件 |
| 知识证据 | 检索文档、数据库记录 | 提供事实依据 | 分段、置信度、来源 |
| 工具结果 | 查询接口、计算任务返回 | 扩展模型能力 | 结构化、时效标注 |
| 状态记忆 | 历史对话、任务进度 | 保持连续性 | 摘要、压缩、归档 |
在知识问答类应用中,文档分段、检索置信度、来源展示和效果评测会直接影响上下文质量。如果检索片段不相关,模型即使能力再强,也容易生成看似合理但缺乏依据的回答。
先定义输出契约
在写提示词前,先明确模型要返回什么:字段、格式、长度、语气、是否允许拒答。输出契约越清晰,上下文越容易控制。
按优先级排序信息
推荐顺序为:系统指令、安全合规要求、任务说明、知识证据、工具结果、历史摘要、用户当前问题。关键约束可以放在开头和结尾,降低被长文本稀释的概率。
控制词元预算
上下文不是越长越好。可采用“摘要历史、抽取证据、截断低价值内容”的方式控制成本。对于多轮对话,可保留最近几轮原文,更早内容用摘要替代。
做好检索增强
文档上传后应配置合理的分段与清洗策略,并通过分段重叠减少关键信息缺失。对检索结果设置置信度阈值,展示来源文档,便于定位问题。在新闻简报、法律问答等场景中,提示词设计、数据预处理和模型调优都会影响上下文效果。
工具调用要可追溯
工具返回结果应包含来源、时间和状态。例如查询订单、库存或政策文件时,模型需要知道数据是否过期,以及失败时如何兜底。
多模型路由
简单分类、摘要任务可使用轻量模型,复杂推理、长文写作可使用能力更强的模型。在模型路由环节,可借助词元所模型服务对比不同模型的能力与成本,再通过统一接口接入,避免为每个模型单独维护一套调用逻辑。
函数 构建上下文(系统指令, 历史记录, 文档列表, 用户问题, 最大词元数):消息列表 = [系统消息(系统指令)]证据文本 = 拼接每个文档为“[编号] 内容”消息列表.追加(系统消息("参考资料:" + 证据文本))对 历史记录 中最近三条:消息列表.追加(历史项)消息列表.追加(用户消息(用户问题))返回 消息列表
该示例只展示结构,实际生产环境还需要加入词元计数、截断、敏感信息过滤和来源标注。
企业落地上下文工程,建议从三个环节入手。第一,建立评测集,将真实问题、标准答案和评分规则沉淀下来,持续观察准确率与稳定性。第二,完善知识运营,对文档分段、知识增强和检索召回进行调优。第三,统一管理模型调用。对于需要接入多种模型能力的系统,可通过第三方大模型对话引擎配置提示词、流式或非流式交互方式。
在调用管理方面,可通过大模型接口服务平台了解调用情况,结合业务高峰与任务复杂度优化资源使用。上下文工程不是一次性配置,而是随着业务数据、模型能力和成本结构变化不断迭代的系统工程。