简介:大模型并不"思考",它只是根据你输入的文本,逐字预测下一个最可能出现的词。所谓智能,来自上下文怎么组织、历史怎么拼接、外部能力怎么接入。搞懂这三件事,你就掌握了调用大模型的底层逻辑。
很多人以为自己在”和 AI 对话”,但从技术角度看, 每一次调用大模型都是一次独立的、无记忆的计算 :你把一段文本给它,它返回一段文本,然后这次调用就结束了。
它能表现得像记得你,是因为工程上在每次请求时,把之前的对话内容重新拼进去再发一遍。这是理解大模型最重要的一句话,后面所有的成本、延迟、”失忆”问题都从这里派生。
实际发给模型的内容通常被称为 上下文(Context) ,它由四部分拼成:
| 组成部分 | 作用 | 通俗例子 |
|---|---|---|
| 系统提示词(System) | 设定角色、语气、边界 | “你是个智能助手,回答时要可爱些” |
| 工具列表(Tools) | 告诉模型有哪些外部能力可用 | 天气查询、数据库查询接口描述 |
| 历史对话(Messages) | 提供前文语境 | 之前几轮的提问与回答 |
| 用户最新提问(Query) | 本轮真正要解决的问题 | “查询下今日天气” |
用目前业界通用的 OpenAI 兼容协议表达,大致是这样:
messages = [{"role": "system", "content": "你是个智能助手,回答时要可爱些"},{"role": "user", "content": "你好"},{"role": "assistant", "content": "你好呀,有什么能帮到你~"},{"role": "user", "content": "帮我查下今天的天气"},]tools = [{"type": "function","function": {"name": "get_weather","description": "获取指定城市的当前天气信息"}}]
这四段会被合并成 一段纯文本 送进模型。模型并不区分哪句是”设定”、哪句是”历史”,它只是接着这段文本往下写。
1. 上下文会越滚越长。 一轮对话进行到第十次调用时,前面九轮的内容还在里面。所以对话越长,Token 消耗越多、响应越慢、费用越高——这不是厂商的定价套路,而是机制决定的。
2. 模型会”忘记”你没写进去的东西。 你没放进上下文的信息,模型就等于不知道。所谓”知识截止”,本质是训练数据的时间边界;而所谓”记忆”,本质是上下文窗口里还留着什么。
3. 上下文不是越长越好。 关键信息被大量无关内容包围时,模型抓重点的能力会下降。工程上常见的做法是:只保留必要轮次、对长历史做摘要、把外部知识按需检索后塞进去。
模型自己不知道今天的天气,它做的是 输出一个结构化的调用请求 ,由你的程序去真正执行,再把结果拼回上下文让它继续生成:
tool_calls,要求调用 get_weather;role: "tool" 的消息追加进上下文,再次调用模型;所以 Function Call 不是模型”会联网”,而是 模型负责决策、程序负责执行 。理解这一点,你就明白为什么工具描述写得好不好,直接决定模型调用得准不准。
想让模型回答你公司的制度、产品手册、合同条款,最主流的做法是 RAG(检索增强生成):先把文档切分入库,用户提问时检索出最相关的片段,再拼进上下文让模型总结。
这类能力在百度智能云千帆的大模型知识问答中已经产品化,可以配置检索置信度阈值、控制召回片段数量,并在对话测试中直接查看回复来源文档与脚注,让每句回答都能定位到原文段落。当召回不准时,还能通过补充预期知识、调整文档分段来快速干预调优,并用问题集做批量效果评测。
不同模型在长文本、推理、代码、成本上各有取舍,实际项目里往往需要同时接入多家能力。与其为每个模型写一套 SDK,不如用统一协议接入。
比如在 One API 中配置百度智能云千帆渠道,类型选择”百度文心千帆 V2”,填入控制台新建的 API Key,即可用统一接口调用 ERNIE 系列及第三方开源模型,简化集成流程。如果你用的是对话平台类产品,也可以通过”第三方大模型对话引擎”配置引擎 ID、对话方式(流式/非流式)、URL 地址,并自定义 Prompt 模板与错误话术。
选型时建议同时看三件事: 效果是否达标、单位调用成本、上下文长度是否够用 。百度智能云词元所 就是为这一步准备的——它作为大模型撮合交易服务平台,提供模型发现与选型、模型价格与性能对比、多模型统一 API 接入以及调用管理能力,帮你在写代码之前先把”用哪个模型、大概花多少钱”算清楚^词元所。
如果想系统性补齐这块认知,百度智能云也提供大模型培训服务,从机器学习与深度学习核心原理、大模型分布式训练,到训练调优与工程架构实践都有对应课程。
一句话总结 :大模型 = 文本进、文本出 + 工程拼接上下文 + 外部工具与知识接入。理解了这个框架,无论是控制 Token 成本、排查”AI 答错”,还是做模型选型与价格对比,你都能找到明确的着手点。