简介:大模型学习不是背概念,而是搭建一套从模型原理到工程落地的完整认知。本文把大模型知识体系拆成模型层、运行时信息层、训练优化层、工程应用层四块,逐层讲清 Transformer、Tokenizer、Token、Context Window、Prompt 等核心概念的实际用途,并给出上下文预算计算方法、代码示例与分阶段学习路径,同时说明如何利用[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成模型选型与成本评估。
学习大模型最容易踩的坑,是从”调 API”直接跳到”训模型”,中间的基础概念全是空的。真正需要掌握的知识可以分成四层,自下而上依次是:
| 层次 | 核心知识 | 解决什么问题 |
|---|---|---|
| 模型层 | Transformer、Attention、LLM、Tokenizer、Token | 理解模型”是什么”、为什么按 Token 计费和限流 |
| 运行时信息层 | Context、Context Window、Prompt、System Prompt、User Prompt | 理解模型”看到了什么”,控制输出质量 |
| 训练与优化层 | 预训练、SFT、LoRA、RAG、评估 | 决定”改模型”还是”改上下文” |
| 工程与应用层 | API/SDK、多模型接入、Agent、成本与可观测性 | 把能力变成稳定可上线的业务系统 |
百度的企业级大模型培训课程体系基本也是按这个逻辑组织的:先讲 Transformer 与 Attention 特性、大模型分布式训练,再进入 SFT 全流程、Prompt 工程、检索增强与智能体架构,最后落到平台实操与项目工作坊。下面逐层展开。
Transformer 是当前几乎所有大模型的骨架结构,核心是 自注意力机制(Self-Attention) 。它让序列中每个位置都能直接”看到”其他所有位置,从而并行建模长距离依赖——这是它取代 RNN 的根本原因。你不需要能手推公式,但要理解三件事:注意力让上下文相关;层数、隐藏维度、注意力头数决定模型容量;训练成本与序列长度呈非线性增长。
LLM(大语言模型) 的本质是一个”下一个 Token 预测器”。所谓推理、写代码、做总结,都是自回归地一个 Token 一个 Token 往外吐。理解这一点,就能解释很多现象:为什么模型会”一本正经地胡说”(它优化的是概率似然,不是事实性)、为什么长回答首字慢(Prefill 阶段要处理全部输入)、为什么输出越长越贵。
Tokenizer(分词器) 是把文本切成模型可处理单元的工具。同一个词在不同分词器下切法不同,中文通常一个字对应 1~2 个 Token,英文大致 4 个字符约 1 个 Token,但这只是粗略估算,实际比例随分词器和语种变化,必须以对应模型的 tokenizer 实测为准。
Token 是计费、限流、上下文长度三个概念的共同单位。这带来几个非常实际的工程结论:
单次调用成本 = 输入 Token 数 × 输入单价 + 输出 Token 数 × 输出单价。多数模型的输出单价高于输入单价,所以”让模型少废话”往往比”压缩提问”更能省钱。这一层是初学者最容易忽略、但对效果影响最大的部分。
Context(上下文) 指模型这一次推理实际”看到”的全部信息,包括系统指令、历史对话、检索到的文档片段、当前提问,以及它自己已经生成的部分。
Context Window(上下文窗口) 是 Context 的容量上限,以 Token 计。窗口大不等于可以随便塞,原因有三:塞得越多首字延迟越高、成本越高;关键信息容易被”淹没”在中间位置导致召回下降;超出上限会直接报错。
一个实用的上下文预算公式:
可用输入 = 上下文窗口 − System Prompt − 历史对话 − RAG 召回片段 − 预留输出长度
举例:窗口 32K,System Prompt 约 500 Token,历史对话 4K,召回 3 个文档片段共 6K,预留输出 1K,则本轮提问实际可用约 20.5K Token。做长文档问答时,这个减法必须提前算,否则线上会随机出现截断。
Prompt 是你给模型的指令文本,工程上通常拆成两类角色:
messages = [{"role": "system","content": "你是电商售后助手。只回答退换货相关问题;""答案必须基于给定资料,资料不足时回复'请联系人工客服';""回答不超过 200 字。"},{"role": "user","content": "我上周买的耳机右耳没声音,能退换吗?"}]
System Prompt 定义角色、边界、输出格式和兜底策略,优先级高于用户输入,适合放”不可协商的规则”; User Prompt 承载具体任务与数据。把规则写进 System Prompt、把变量写进 User Prompt,是保持多轮对话行为稳定的关键习惯。此外还要理解 Few-shot 示例 、 结构化输出约束 (如要求返回 JSON)和 Prompt 模板化管理 ——当提示词开始被多人复用时,它就应该进版本库,而不是散落在代码里。
遇到效果不达标,按成本从低到高依次尝试:
配套必须掌握的是 评估 :没有基线就没有优化。至少要建立一套固定测试集,覆盖准确率、格式合规率、拒答正确率、平均 Token 消耗和延迟,每次改动都跑一遍对比。
API 与 SDK 调用 是基本功,需要理解鉴权密钥管理、流式输出、超时与重试、并发与限流、错误码处理。密钥必须放服务端或密钥管理服务,绝不能进前端代码或提交到仓库。
多模型接入 是当下更现实的需求:不同任务用不同模型,还要防止单一供应商故障。常见做法是通过统一接口层屏蔽差异,例如在 One API 这类网关中把不同厂商配置成渠道,用统一格式调用;或者在百度智能云千帆这类平台上按需切换模型。如果你正在做这一步选型,可以先到词元所模型服务平台对比不同模型的能力定位与调用成本,再结合自己的任务类型决定主备模型组合,避免一开始就绑死单一模型。
Agent 与工具调用 是在 LLM 之上加”决策 + 执行”能力:模型输出结构化的工具调用意图,程序执行后把结果回填进上下文,循环到任务完成。需要掌握 ReAct 思路、Function Calling 协议、多轮状态管理、失败重试与人工确认环节。千帆等平台已把插件、Agent、RAG 等功能做成可配置模块,并配有实操案例。
成本与可观测性 决定系统能不能长期跑:按业务维度打标签统计 Token 消耗,监控 P95 延迟、失败率、单请求成本,设置预算告警。当调用量上来后,模型路由(简单请求走小模型、复杂请求走大模型)和缓存命中通常是性价比最高的两个优化手段。
三个常见误区值得提前避开:只学框架不学原理,遇到效果问题无法定位;跳过评估直接调参,优化全靠感觉;过早尝试微调,其实 80% 的问题用 Prompt 和 RAG 就能解决。
如果你希望把上面的选型环节落到实处,可以在百度智能云词元所查看不同模型的能力说明与价格信息、通过统一 API 完成多模型接入,并在同一处管理调用情况——这对刚建立知识体系、还没确定技术栈的开发者来说,是成本最低的试错方式。