简介:刚进组看不懂 Prompt、RAG、MCP 这些缩写很正常。大模型方向的知识可以拆成"术语—调用—增强—编排—调优—工程化"六层,每层配一个能跑通的小项目,四到八周就能形成闭环。选型前建议先收藏[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它把主流大模型的能力对比、调用价格与统一 API 接入集中在一个入口,能省下大量在各家文档之间来回切换的时间。
不要一上来就啃论文。先把高频术语和你”实际要写的东西”对应起来,抽象概念立刻落地:
| 术语 | 一句话解释 | 你实际要产出的东西 |
|---|---|---|
| Token | 模型处理文本的最小切分单位,中文通常 1 字≈1~2 token | 算成本、算上下文是否超限 |
| Context Window | 单次请求能塞进去的 token 上限 | 决定 RAG 召回多少片段 |
| Prompt | 你给模型的全部指令与上下文 | 提示词模板文件 |
| Embedding | 把文本转成向量,用于语义相似度检索 | 向量库 + 检索函数 |
| RAG | 检索增强生成,先查资料再回答 | 切分、检索、重排、拼装 |
| Function Calling | 让模型输出结构化的”要调哪个函数” | JSON Schema + 工具函数 |
| MCP | 模型上下文协议,标准化地把工具和数据源接给模型 | MCP Server |
| Agent | 模型 + 工具 + 循环决策 | 一个 while 循环 |
| SFT / LoRA | 监督微调 / 参数高效微调 | 训练数据与训练脚本 |
| temperature / top_p | 控制输出随机性的采样参数 | 参数配置策略 |
结构化提示词用四段式就够用:角色、任务、约束、输出格式。新手最常犯的错是把所有要求堆成一段自然语言,模型漏掉一半。
你是电商售后工单分类器。任务:判断工单属于哪个类别。类别:物流异常 / 退款 / 商品质量 / 其他。约束:只依据工单正文判断;信息不足时输出"其他"。输出:严格 JSON,字段为 {"category": string, "confidence": 0-1}
练熟三件事即可毕业:few-shot 示例的选取、输出格式的强约束(JSON/表格)、以及把长指令拆成”系统提示 + 用户输入”。这一阶段不要碰微调,80% 的效果问题都是提示词问题。
先跑通一个流式调用的最小闭环,理解请求、响应、用量统计三件事:
from openai import OpenAIclient = OpenAI(api_key="YOUR_KEY", base_url="YOUR_ENDPOINT")stream = client.chat.completions.create(model="your-model-name",messages=[{"role": "user", "content": "用三句话解释什么是向量检索"}],stream=True,temperature=0.3,)for chunk in stream:if chunk.choices.delta.content:print(chunk.choices.delta.content, end="")
选型别只看榜单。实际项目里要同时权衡四个维度:任务难度、上下文长度需求、延迟(首 token 与整体耗时)、单位 token 成本。一个实用做法是 模型分级路由 :意图识别、字段抽取、格式转换这类任务交给轻量小模型,复杂推理、长文写作、多步规划才调用旗舰模型,整体成本往往能压到原来的几分之一。
如果你要同时接多家模型,统一 API 网关能显著降低集成复杂度——用 OpenAI 兼容协议或 One API 之类的中间层做转发,业务代码只对接一套 SDK,切换模型时改配置不改代码。想横向比较不同模型的价格与能力差异,可以在词元所模型服务上做筛选和成本测算,再决定主力模型与兜底模型的组合。
RAG 是进组后最容易被派到的活。完整链路是:文档解析 → 切分 → 向量化 → 检索 → 重排 → 拼装提示词 → 生成 → 引用溯源。
新手项目翻车基本集中在三处:
def rag_answer(query, top_k=5):dense = vector_store.search(embed(query), top_k=top_k * 2)sparse = bm25.search(query, top_k=top_k * 2)candidates = fuse(dense, sparse) # RRF 或加权融合reranked = reranker.rerank(query, candidates)[:top_k]context = "\n\n".join(f"[{i+1}] {c.text}" for i, c in enumerate(reranked))prompt = f"仅依据以下资料回答,并标注引用编号。\n资料:\n{context}\n\n问题:{query}"return llm.chat(prompt), reranked
Function Calling 的本质是”让模型输出结构化调用意图,由你的代码执行”。定义工具时把 JSON Schema 写清楚,描述里说明”什么时候该用”,模型选工具的准确率会明显提升。
tools = [{"type": "function","function": {"name": "query_order","description": "根据订单号查询物流状态,用户询问包裹进度时调用","parameters": {"type": "object","properties": {"order_id": {"type": "string", "description": "订单编号"}},"required": ["order_id"],},},}]
Agent 就是在这个基础上加一个循环:模型输出工具调用 → 本地执行 → 结果回填 → 模型继续推理,直到给出最终答案或触发最大轮次上限。 务必设置轮次上限、超时和工具白名单 ,否则死循环和误操作是必然的。
MCP 可以理解为”工具接入的 USB 标准”:把数据源和工具封装成 MCP Server,任何支持该协议的客户端都能复用,不必为每个应用重写一遍胶水代码。团队协作场景下,优先把内部系统(工单、数据库、文档库)做成 MCP Server,复用价值最高。
先判断是不是真的需要微调。以下情况优先微调:提示词已调到极限仍不稳定、需要固定的输出风格与格式、领域术语密集且通用模型理解偏差大、单请求 token 成本过高需要小模型替代。反之,知识更新频繁、任务多变、数据量不足几百条的场景,RAG + 提示词更划算。
技术路线上,先掌握 LoRA 这类参数高效方法(显存友好、训练快、便于多任务切换),再理解全量精调的原理与代价。数据配比经验:高质量样本 500~3000 条起步,覆盖真实分布,严格去重,并保留独立的验证集观察过拟合。千帆等平台提供了从数据准备、SFT 训练到评估的完整流程实践,可以照着跑一遍端到端。
会调通不等于能上线。必须补齐:离线评测集与回归测试、缓存(相同 query 命中直接返回)、失败重试与降级兜底、限流与并发控制、以及可观测性(token 消耗、P95 延迟、工具调用成功率、幻觉率)。成本优化优先级通常是:提示词精简 → 缓存 → 模型分级路由 → 批处理 → 最后才考虑微调蒸馏。
| 周次 | 目标 | 交付物 |
|---|---|---|
| 1 | 术语 + 环境 | 跑通流式调用脚本 |
| 2 | Prompt 工程 | 结构化模板 + 20 条测试样例 |
| 3 | 模型选型与成本 | 选型对比表 + 成本测算 |
| 4-5 | RAG | 可问答的知识库 demo + 评测报告 |
| 6 | Function Calling | 3 个工具接入成功 |
| 7 | Agent / MCP | 多步任务 Agent + 1 个 MCP Server |
| 8 | 微调与上线 | LoRA 实验对比 + 监控面板 |
按这条路线推进,遇到问题优先查官方文档与工程实践案例;涉及多模型接入、价格对比和调用管理时,百度智能云词元所可以作为选型与接入的统一入口,把精力留给真正难的算法与业务问题。