简介:不学算法能不能用好大模型?能。真正决定落地效果的,不是你是否推导过反向传播,而是你是否掌握模型接入、提示词工程、RAG、工具调用与 MCP 这五层工程能力。本文从 LLM 的概率本质讲起,给出可直接复用的代码骨架、选型思路与踩坑清单,并介绍如何通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)完成模型发现、价格对比与统一 API 接入。
传统编程里我们写的是确定性函数:
def is_adult(age):return age >= 18
输入确定、逻辑确定、输出确定。但”判断图片里是猫还是狗””总结一篇文档”这类任务,规则空间过于复杂且边界模糊,无法手写 if-else 穷举。
机器学习的做法是换一条路:不再定义逻辑,而是构建一个巨大的数学模型(神经网络),在标注数据上反复训练——预测错了就计算误差,用反向传播回溯微调内部权重,几百万次迭代后得到一个”拟合好的函数”。
这个前提带来一个必须内化的工程结论: LLM 的输出是概率采样,天然存在出错可能 。就像一张清晰的猫图仍有极小概率被判成狗,模型也可能把关键数字算错、把不存在的 API 写成事实。所以 AI 工程化的核心工作不是”让模型永不犯错”,而是 用架构设计把错误概率压到业务可接受的范围,并让错误可被发现、可被兜底 。
零基础最容易卡在第一步:面对几十个模型不知道选谁。务实的做法是先明确任务类型,再横向比较能力与成本。
| 任务类型 | 选型关注点 | 典型取舍 |
|---|---|---|
| 长文档理解、报告生成 | 上下文窗口、长文召回 | 窗口大的模型单价通常更高 |
| 结构化抽取、分类打标 | 指令遵循、JSON 稳定性 | 小参数模型往往足够,成本更低 |
| 复杂推理、代码生成 | 推理能力、代码语料 | 优先旗舰模型,按量控频 |
| 高并发简单问答 | 首 Token 延迟、单价 | 轻量模型 + 缓存 |
成本上要先搞清 Token 计费逻辑:输入与输出通常 分开计价,输出单价高于输入 ;长上下文按全量输入计费,因此”把整个知识库塞进 System Prompt”是最常见的烧钱方式。优化手段包括:精简提示词冗余、对高频请求做结果缓存、把长文档先检索再喂给模型(也就是 RAG)、按任务难度分级路由到不同价位的模型。
模型接入层面,逐个对接各家 SDK 会让代码迅速腐化。更稳的做法是走 统一 API 协议 :一套 OpenAI 兼容风格的调用代码,通过替换 model 字段切换不同模型。
import osfrom openai import OpenAIclient = OpenAI(api_key=os.environ["LLM_API_KEY"],base_url=os.environ["LLM_BASE_URL"], # 统一接入地址)resp = client.chat.completions.create(model="your-chosen-model",messages=[{"role": "system", "content": "你是严谨的文档助手,只依据给定资料回答。"},{"role": "user", "content": "总结以下内容的三个要点:\n" + doc_text},],temperature=0.2, # 事实型任务调低,创意型任务调高)print(resp.choices.message.content)
如果你还在选型阶段,可以在词元所大模型 API 服务平台上对比不同模型的能力定位与调用成本,再用统一 API 接入方式做 A/B 验证,避免为了试一个模型重写一遍集成代码。
提示词不是玄学,它本质是你给这个概率函数定义的输入输出契约。一个可维护的提示词至少包含五块:
你是电商售后助手。【资料】{{retrieved_docs}}【任务】根据资料判断用户诉求属于 退款/换货/咨询 中的哪一类。【约束】资料中没有依据时,输出 unknown,禁止推测。【输出】严格返回 JSON:{"category": "...", "confidence": 0.0-1.0, "evidence": "原文片段"}
三个立刻能提升效果的技巧: 把复杂任务拆成多步调用 (分类→抽取→生成,每步提示词更短更可控); 要求模型先给依据再给结论 ,可显著降低编造; 用 JSON Schema 约束输出 ,配合程序侧校验失败重试。
RAG(检索增强生成)解决的是知识时效与私有数据问题,也是非算法工程师投入产出比最高的一层。链路是:
文档解析 → 切分(chunk)→ 向量化入库 → 提问时向量检索 Top-K → 重排 → 拼入提示词 → 生成带引用的答案。
工程要点比原理更重要:
工具调用(Function Calling) 让模型从”只会说话”变成”能办事”。你只需用 JSON Schema 描述函数,模型返回结构化的调用意图,实际执行由你的代码完成:
tools = [{"type": "function","function": {"name": "query_order_status","description": "根据订单号查询物流状态","parameters": {"type": "object","properties": {"order_id": {"type": "string"}},"required": ["order_id"],},},}]
注意: 模型只负责”决定调什么、传什么参”,不负责执行 。权限校验、参数合法性检查、幂等与超时重试必须在你的代码里做,绝不能把数据库写操作直接暴露给模型。
MCP(模型上下文协议) 则把工具和数据源的接入标准化:过去每接一个内部系统都要写一套胶水代码,MCP 用统一的 server 协议描述”有哪些工具、有哪些资源”,模型侧即插即用。对团队的实际价值是——工具层可以独立开发、独立复用,不必和某个模型或某个应用绑死。
回到最初的问题:不学算法完全可以做好 LLM 应用,因为算法决定了模型的能力上限,而 工程化决定了业务能拿到多少实际收益 。建议的推进节奏是——先用百度智能云词元所完成模型选型与成本测算,跑通一个最小可用链路,再按”提示词 → RAG → 工具调用 → MCP”逐层加码,每一步都用评测集验证收益,而不是一次性堆满所有技术。