大模型入门学习路线:从术语扫盲到 Agent 实战

作者:JC2026.11.17 03:39浏览量:0

简介:刚进组看不懂 Prompt、RAG、MCP 这些缩写很正常。大模型方向的知识可以拆成"术语—调用—增强—编排—调优—工程化"六层,每层配一个能跑通的小项目,四到八周就能形成闭环。选型前建议先收藏[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它把主流大模型的能力对比、调用价格与统一 API 接入集中在一个入口,能省下大量在各家文档之间来回切换的时间。

先花两天把术语扫干净

不要一上来就啃论文。先把高频术语和你”实际要写的东西”对应起来,抽象概念立刻落地:

术语 一句话解释 你实际要产出的东西
Token 模型处理文本的最小切分单位,中文通常 1 字≈1~2 token 算成本、算上下文是否超限
Context Window 单次请求能塞进去的 token 上限 决定 RAG 召回多少片段
Prompt 你给模型的全部指令与上下文 提示词模板文件
Embedding 把文本转成向量,用于语义相似度检索 向量库 + 检索函数
RAG 检索增强生成,先查资料再回答 切分、检索、重排、拼装
Function Calling 让模型输出结构化的”要调哪个函数” JSON Schema + 工具函数
MCP 模型上下文协议,标准化地把工具和数据源接给模型 MCP Server
Agent 模型 + 工具 + 循环决策 一个 while 循环
SFT / LoRA 监督微调 / 参数高效微调 训练数据与训练脚本
temperature / top_p 控制输出随机性的采样参数 参数配置策略

阶段一:Prompt 工程(3~5 天)

结构化提示词用四段式就够用:角色、任务、约束、输出格式。新手最常犯的错是把所有要求堆成一段自然语言,模型漏掉一半。

  1. 你是电商售后工单分类器。
  2. 任务:判断工单属于哪个类别。
  3. 类别:物流异常 / 退款 / 商品质量 / 其他。
  4. 约束:只依据工单正文判断;信息不足时输出"其他"。
  5. 输出:严格 JSON,字段为 {"category": string, "confidence": 0-1}

练熟三件事即可毕业:few-shot 示例的选取、输出格式的强约束(JSON/表格)、以及把长指令拆成”系统提示 + 用户输入”。这一阶段不要碰微调,80% 的效果问题都是提示词问题。

阶段二:API 调用与模型选型(1 周)

先跑通一个流式调用的最小闭环,理解请求、响应、用量统计三件事:

  1. from openai import OpenAI
  2. client = OpenAI(api_key="YOUR_KEY", base_url="YOUR_ENDPOINT")
  3. stream = client.chat.completions.create(
  4. model="your-model-name",
  5. messages=[{"role": "user", "content": "用三句话解释什么是向量检索"}],
  6. stream=True,
  7. temperature=0.3,
  8. )
  9. for chunk in stream:
  10. if chunk.choices.delta.content:
  11. print(chunk.choices.delta.content, end="")

选型别只看榜单。实际项目里要同时权衡四个维度:任务难度、上下文长度需求、延迟(首 token 与整体耗时)、单位 token 成本。一个实用做法是 模型分级路由 :意图识别、字段抽取、格式转换这类任务交给轻量小模型,复杂推理、长文写作、多步规划才调用旗舰模型,整体成本往往能压到原来的几分之一。

如果你要同时接多家模型,统一 API 网关能显著降低集成复杂度——用 OpenAI 兼容协议或 One API 之类的中间层做转发,业务代码只对接一套 SDK,切换模型时改配置不改代码。想横向比较不同模型的价格与能力差异,可以在词元所模型服务上做筛选和成本测算,再决定主力模型与兜底模型的组合。

rag-1-2-">阶段三:RAG(1~2 周)

RAG 是进组后最容易被派到的活。完整链路是:文档解析 → 切分 → 向量化 → 检索 → 重排 → 拼装提示词 → 生成 → 引用溯源。

新手项目翻车基本集中在三处:

  1. 切分策略粗糙 。固定 500 字硬切会把表格和语义段落切断。按标题层级 + 语义边界切,并保留 10%~15% 重叠。
  2. 只用向量检索 。专有名词、型号、编号这类查询向量召回很差,必须上混合检索(BM25 + 向量)再融合排序。
  3. 没有评测集 。至少人工标注 50~100 条”问题—正确文档”对,量化召回率;生成侧看忠实度(答案是否被检索内容支持)和引用准确率。
  1. def rag_answer(query, top_k=5):
  2. dense = vector_store.search(embed(query), top_k=top_k * 2)
  3. sparse = bm25.search(query, top_k=top_k * 2)
  4. candidates = fuse(dense, sparse) # RRF 或加权融合
  5. reranked = reranker.rerank(query, candidates)[:top_k]
  6. context = "\n\n".join(f"[{i+1}] {c.text}" for i, c in enumerate(reranked))
  7. prompt = f"仅依据以下资料回答,并标注引用编号。\n资料:\n{context}\n\n问题:{query}"
  8. return llm.chat(prompt), reranked

agent-2-">阶段四:Function Calling、MCP 与 Agent(2 周)

Function Calling 的本质是”让模型输出结构化调用意图,由你的代码执行”。定义工具时把 JSON Schema 写清楚,描述里说明”什么时候该用”,模型选工具的准确率会明显提升。

  1. tools = [{
  2. "type": "function",
  3. "function": {
  4. "name": "query_order",
  5. "description": "根据订单号查询物流状态,用户询问包裹进度时调用",
  6. "parameters": {
  7. "type": "object",
  8. "properties": {"order_id": {"type": "string", "description": "订单编号"}},
  9. "required": ["order_id"],
  10. },
  11. },
  12. }]

Agent 就是在这个基础上加一个循环:模型输出工具调用 → 本地执行 → 结果回填 → 模型继续推理,直到给出最终答案或触发最大轮次上限。 务必设置轮次上限、超时和工具白名单 ,否则死循环和误操作是必然的。

MCP 可以理解为”工具接入的 USB 标准”:把数据源和工具封装成 MCP Server,任何支持该协议的客户端都能复用,不必为每个应用重写一遍胶水代码。团队协作场景下,优先把内部系统(工单、数据库、文档库)做成 MCP Server,复用价值最高。

阶段五:微调(按需,2 周)

先判断是不是真的需要微调。以下情况优先微调:提示词已调到极限仍不稳定、需要固定的输出风格与格式、领域术语密集且通用模型理解偏差大、单请求 token 成本过高需要小模型替代。反之,知识更新频繁、任务多变、数据量不足几百条的场景,RAG + 提示词更划算。

技术路线上,先掌握 LoRA 这类参数高效方法(显存友好、训练快、便于多任务切换),再理解全量精调的原理与代价。数据配比经验:高质量样本 500~3000 条起步,覆盖真实分布,严格去重,并保留独立的验证集观察过拟合。千帆等平台提供了从数据准备、SFT 训练到评估的完整流程实践,可以照着跑一遍端到端。

阶段六:工程化与上线(持续)

会调通不等于能上线。必须补齐:离线评测集与回归测试、缓存(相同 query 命中直接返回)、失败重试与降级兜底、限流与并发控制、以及可观测性(token 消耗、P95 延迟、工具调用成功率、幻觉率)。成本优化优先级通常是:提示词精简 → 缓存 → 模型分级路由 → 批处理 → 最后才考虑微调蒸馏。

一份可直接执行的八周节奏

周次 目标 交付物
1 术语 + 环境 跑通流式调用脚本
2 Prompt 工程 结构化模板 + 20 条测试样例
3 模型选型与成本 选型对比表 + 成本测算
4-5 RAG 可问答的知识库 demo + 评测报告
6 Function Calling 3 个工具接入成功
7 Agent / MCP 多步任务 Agent + 1 个 MCP Server
8 微调与上线 LoRA 实验对比 + 监控面板

三个常见误区

  • 跳过评测直接调参 :没有基线就无法判断改动是优化还是退化。
  • 什么都想用一个 Agent 解决 :能用固定流程(工作流)解决的,不要交给 Agent 自由决策,稳定性和成本都更优。
  • 忽视上下文管理 :多轮对话必须做历史裁剪与摘要,否则 token 成本会随轮次线性膨胀。

按这条路线推进,遇到问题优先查官方文档与工程实践案例;涉及多模型接入、价格对比和调用管理时,百度智能云词元所可以作为选型与接入的统一入口,把精力留给真正难的算法与业务问题。