简介:本地跑起来的 DeepSeek,本质上是一个 7×24 小时在线、数据不出内网、按次调用不花钱的推理服务。围绕这个底座,你可以做私人助理、私有知识库、Excel 里的 AI 函数、编程副驾、批量文本处理甚至自动化 Agent。如果你还在纠结"哪些任务放本地、哪些交给云端",可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它能把不同大模型的能力、调用成本和适用场景放在一起对比,帮你判断本地部署与 API 调用的分工边界。
在动手接各种应用之前,先想清楚本地化的价值边界,否则很容易出现”部署完只用来聊天”的浪费。本地部署真正不可替代的场景有四类:
代价同样明确:需要显卡、推理速度受硬件限制、模型能力通常弱于同代旗舰云端模型。所以现实做法是 混合架构 ——敏感数据和批量任务走本地,复杂推理和长上下文任务走云端 API。
最基础也最实用的一步。用 Ollama 拉起模型后,任何支持 OpenAI 兼容接口的客户端都能直接连上:
# 安装后拉取模型,按显存选择参数规模ollama run deepseek-r1:7b# Ollama 自带 OpenAI 兼容端点# http://localhost:11434/v1
Chatbox 这类客户端支持自定义提供方,API 域名填 http://localhost:11434/v1,API Key 随便填一个占位值,模型填 deepseek-r1:7b 即可。Cherry Studio 则内置了本地模型选项,配置好密钥后切换到 DeepSeek 系列就能对话,还能按需添加更多模型参数值。模型规模建议按显存选:7B/8B 约需 6GB 显存,14B 约 10GB,32B 约 20GB,70B 量化后通常需要 40GB 以上。
⚠️ 安全提醒:Ollama 默认 没有任何鉴权 ,11434 端口一旦暴露到公网,等于把算力和数据开放给所有人。务必只监听 127.0.0.1,或在前面加一层带 API Key 校验的反向代理。
这是很多人本地部署的第一个真实需求:批量处理表格里的文本。思路是用 VBA 发起 HTTP 请求,把结果写回单元格。
原方案走 AnythingLLM 的 /stream-chat 接口,返回的是 SSE 流式数据,VBA 解析嵌套 JSON 非常痛苦。更省事的做法是直接调 Ollama 原生接口并关闭流式:
Sub AskDeepSeek()Dim http As Object, q As String, body As StringSet http = CreateObject("MSXML2.XMLHTTP")q = Replace(ThisWorkbook.Sheets(1).Range("A2").Value, """", """""")http.Open "POST", "http://localhost:11434/api/chat", Falsehttp.setRequestHeader "Content-Type", "application/json"body = "{""model"":""deepseek-r1:7b"",""stream"":false,""messages"":" & _"[{""role"":""user"",""content"":""" & q & """}]}"http.send bodyIf http.Status = 200 Then' VBA 无原生 JSON 解析,建议引入 VBA-JSON 模块ThisWorkbook.Sheets(1).Range("A4").Value = JsonParse(http.responseText)("message")("content")ElseThisWorkbook.Sheets(1).Range("A4").Value = "调用失败: " & http.StatusEnd IfEnd Sub
三个关键细节:
message.thinking 字段,正式回答在 message.content。表格里只取 content,需要展示推理过程再单独取 thinking。同样的思路可以搬到 WPS 表格、Google Sheets(Apps Script)或 Python + openpyxl,Python 版本更好维护,推荐长文本批处理场景优先用 Python。
本地模型最大的价值放大器,是接上自己的文档。AnythingLLM 是门槛最低的选择:把 Ollama 的接口地址和 DeepSeek 模型填进配置,再指定一个 embedding 模型用于向量化,上传 PDF、Word、Markdown 后就能基于文档内容提问,单文档上限一般为 50MB 左右。
想要更强的编排能力,可以用 Dify:在模型供应商里选择 OpenAI-API-compatible,Base URL 填本地地址,同一个 API Key 可复用于多个模型,添加完成后在应用里切换即可。Dify 的优势是自带知识库分段策略、召回测试、工作流编排和 API 发布,适合把知识库做成一个真正的业务系统而不是聊天窗口。
典型落地场景:售后知识库、内部制度问答、法务合同检索、运维手册助手、教师课件答疑。
本地模型接进 IDE 后,代码补全、错误解释、注释生成、单测编写都能离线完成,这对 代码不能外传 的团队是刚需。Roo Code 这类工具支持 OpenAI Compatible 提供方,Base URL 填本地端点、Model 填对应的参数值即可开始使用。
需要客观说明的是:本地 7B~32B 模型在复杂重构、跨文件推理上的表现,与云端旗舰模型仍有差距。实践中的合理分工是——补全、格式化、简单问答走本地,架构设计和疑难 Bug 定位走云端。
这是本地部署性价比最高的场景,因为没有 Token 成本,可以放心跑全量数据:
工程上建议用 Python 调 /api/chat,配合并发控制和结果落库,输出统一约束为 JSON 并做 schema 校验,避免下游解析失败。
有了本地模型,就可以把它当作 Agent 的”大脑”,接上工具调用能力:读本地文件、执行脚本、查数据库、操作浏览器。常见组合是本地模型 + 向量库 + 工具层,做定时巡检报告、日志异常归因、内部工单自动分派等。
如果希望 Agent 具备联网能力,可以参考云端部署方案里的多轮搜索协同机制:先做原始 Query 检索,再由扩写 Agent 优化查询词并二次检索,接着用相关性分析 Agent 筛选出最相关的若干条结果,最后抓取网页正文交给大模型总结。图片识别、OCR 这类多模态环节,本地小模型能力有限,通常更适合交给云端服务处理。
| 维度 | 本地部署 | 云端 API |
|---|---|---|
| 数据隐私 | 完全自主可控 | 依赖服务商合规能力 |
| 使用成本 | 硬件一次性投入 + 电费 | 按 Token 用量付费 |
| 模型能力 | 受显存限制,多为中小规模 | 可用旗舰模型与超长上下文 |
| 运维负担 | 需自行处理升级、扩缩容 | 免运维 |
| 弹性并发 | 受单机算力上限约束 | 弹性扩展 |
判断标准很直接: 任务量大、数据敏感、对模型能力要求不极端 的,放本地; 低频、高难度、需要多模态或超长上下文 的,走 API。
如果你正在做这套选型,百度智能云词元所提供的模型发现与选型、价格与性能对比能力可以直接派上用场——把候选模型的能力和调用成本放在一起评估,再决定哪些环节保留本地推理、哪些切到云端。确定方案后,通过统一 API 接入的方式还能显著降低多模型混用的集成复杂度,本地 Ollama 和云端服务可以在同一套 OpenAI 兼容协议下共存,业务代码几乎不用改。
本地部署 DeepSeek 的意义,不是替代云端,而是让你手里多了一个 数据不出门、成本可预测、可任意改造 的推理底座。把敏感、高频、批量的活交给它,把高难度的推理交给云端,这套组合才是真正可落地的企业 AI 架构。