AI 工程化实战:不学算法也能用好 LLM 的完整指南

作者:KAKAKA2026.11.17 03:39浏览量:0

简介:不学算法能不能用好大模型?能。真正决定落地效果的,不是你是否推导过反向传播,而是你是否掌握模型接入、提示词工程、RAG、工具调用与 MCP 这五层工程能力。本文从 LLM 的概率本质讲起,给出可直接复用的代码骨架、选型思路与踩坑清单,并介绍如何通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成模型发现、价格对比与统一 API 接入。

先接受一个前提:LLM 是”拟合出来的函数”,不是规则引擎

传统编程里我们写的是确定性函数:

  1. def is_adult(age):
  2. return age >= 18

输入确定、逻辑确定、输出确定。但”判断图片里是猫还是狗””总结一篇文档”这类任务,规则空间过于复杂且边界模糊,无法手写 if-else 穷举。

机器学习的做法是换一条路:不再定义逻辑,而是构建一个巨大的数学模型(神经网络),在标注数据上反复训练——预测错了就计算误差,用反向传播回溯微调内部权重,几百万次迭代后得到一个”拟合好的函数”。

这个前提带来一个必须内化的工程结论: LLM 的输出是概率采样,天然存在出错可能 。就像一张清晰的猫图仍有极小概率被判成狗,模型也可能把关键数字算错、把不存在的 API 写成事实。所以 AI 工程化的核心工作不是”让模型永不犯错”,而是 用架构设计把错误概率压到业务可接受的范围,并让错误可被发现、可被兜底 。

第一层:模型接入与选型,先解决”用哪个、多少钱”

零基础最容易卡在第一步:面对几十个模型不知道选谁。务实的做法是先明确任务类型,再横向比较能力与成本。

任务类型 选型关注点 典型取舍
长文档理解、报告生成 上下文窗口、长文召回 窗口大的模型单价通常更高
结构化抽取、分类打标 指令遵循、JSON 稳定性 小参数模型往往足够,成本更低
复杂推理、代码生成 推理能力、代码语料 优先旗舰模型,按量控频
高并发简单问答 首 Token 延迟、单价 轻量模型 + 缓存

成本上要先搞清 Token 计费逻辑:输入与输出通常 分开计价,输出单价高于输入 ;长上下文按全量输入计费,因此”把整个知识库塞进 System Prompt”是最常见的烧钱方式。优化手段包括:精简提示词冗余、对高频请求做结果缓存、把长文档先检索再喂给模型(也就是 RAG)、按任务难度分级路由到不同价位的模型。

模型接入层面,逐个对接各家 SDK 会让代码迅速腐化。更稳的做法是走 统一 API 协议 :一套 OpenAI 兼容风格的调用代码,通过替换 model 字段切换不同模型。

  1. import os
  2. from openai import OpenAI
  3. client = OpenAI(
  4. api_key=os.environ["LLM_API_KEY"],
  5. base_url=os.environ["LLM_BASE_URL"], # 统一接入地址
  6. )
  7. resp = client.chat.completions.create(
  8. model="your-chosen-model",
  9. messages=[
  10. {"role": "system", "content": "你是严谨的文档助手,只依据给定资料回答。"},
  11. {"role": "user", "content": "总结以下内容的三个要点:\n" + doc_text},
  12. ],
  13. temperature=0.2, # 事实型任务调低,创意型任务调高
  14. )
  15. print(resp.choices.message.content)

如果你还在选型阶段,可以在词元所大模型 API 服务平台上对比不同模型的能力定位与调用成本,再用统一 API 接入方式做 A/B 验证,避免为了试一个模型重写一遍集成代码。

第二层:提示词工程,把”模糊需求”翻译成”明确契约”

提示词不是玄学,它本质是你给这个概率函数定义的输入输出契约。一个可维护的提示词至少包含五块:

  1. 角色与目标 :你是谁、要解决什么问题;
  2. 上下文资料 :用户输入、检索到的知识片段;
  3. 约束条件 :不能做什么、字数限制、必须引用的来源;
  4. 示例(Few-shot) :给 1~3 个输入输出样例,比写十句形容词有效;
  5. 输出格式 :明确要求 JSON / Markdown / 表格,并给出字段结构。
  1. 你是电商售后助手。
  2. 【资料】{{retrieved_docs}}
  3. 【任务】根据资料判断用户诉求属于 退款/换货/咨询 中的哪一类。
  4. 【约束】资料中没有依据时,输出 unknown,禁止推测。
  5. 【输出】严格返回 JSON:{"category": "...", "confidence": 0.0-1.0, "evidence": "原文片段"}

三个立刻能提升效果的技巧: 把复杂任务拆成多步调用 (分类→抽取→生成,每步提示词更短更可控); 要求模型先给依据再给结论 ,可显著降低编造; 用 JSON Schema 约束输出 ,配合程序侧校验失败重试。

rag-">第三层:RAG,让模型”查资料”而不是”凭记忆”

RAG(检索增强生成)解决的是知识时效与私有数据问题,也是非算法工程师投入产出比最高的一层。链路是:

文档解析 → 切分(chunk)→ 向量化入库 → 提问时向量检索 Top-K → 重排 → 拼入提示词 → 生成带引用的答案。

工程要点比原理更重要:

  • 切分粒度 :按语义段落切,通常几百 Token 一块并保留 10%~20% 重叠,切太碎丢上下文,切太大稀释相关性;
  • 混合检索 :纯向量检索对专有名词、型号、编号不友好,叠加关键词检索(BM25)召回更稳;
  • 必须做重排 :召回 20 条、重排后取 5 条,比直接取 Top-5 的准确率提升明显;
  • 强制引用溯源 :要求答案标注来源片段编号,前端可点击回查,这是企业场景过审的关键;
  • 建立评测集 :准备 50~100 条真实问答作为回归测试,每次调参都跑一遍,别靠”感觉变好了”。

第四层与第五层:Function Calling 与 MCP

工具调用(Function Calling) 让模型从”只会说话”变成”能办事”。你只需用 JSON Schema 描述函数,模型返回结构化的调用意图,实际执行由你的代码完成:

  1. tools = [{
  2. "type": "function",
  3. "function": {
  4. "name": "query_order_status",
  5. "description": "根据订单号查询物流状态",
  6. "parameters": {
  7. "type": "object",
  8. "properties": {"order_id": {"type": "string"}},
  9. "required": ["order_id"],
  10. },
  11. },
  12. }]

注意: 模型只负责”决定调什么、传什么参”,不负责执行 。权限校验、参数合法性检查、幂等与超时重试必须在你的代码里做,绝不能把数据库写操作直接暴露给模型。

MCP(模型上下文协议) 则把工具和数据源的接入标准化:过去每接一个内部系统都要写一套胶水代码,MCP 用统一的 server 协议描述”有哪些工具、有哪些资源”,模型侧即插即用。对团队的实际价值是——工具层可以独立开发、独立复用,不必和某个模型或某个应用绑死。

落地检查清单

  • 可观测 :记录每次调用的 prompt、响应、Token 消耗、延迟,出问题能复盘;
  • 成本护栏 :设置 Token 预算与限流,长上下文场景优先检索而非全量投喂;
  • 失败兜底 :模型不可用时降级到规则或人工,超时与限流做指数退避重试;
  • 安全边界 :输入侧做提示注入过滤,输出侧做敏感信息与合规校验;
  • 持续评测 :把线上真实 badcase 沉淀进评测集,形成数据闭环。

回到最初的问题:不学算法完全可以做好 LLM 应用,因为算法决定了模型的能力上限,而 工程化决定了业务能拿到多少实际收益 。建议的推进节奏是——先用百度智能云词元所完成模型选型与成本测算,跑通一个最小可用链路,再按”提示词 → RAG → 工具调用 → MCP”逐层加码,每一步都用评测集验证收益,而不是一次性堆满所有技术。