简介:本文围绕已有 NAS 和可自定义路由器如何接入大模型,给出从模型选型、网络入口、Docker 服务部署到办公知识库与自动化流程的实操方案,并介绍如何用统一 API 平台降低多模型接入成本。
家里有 NAS 和可自定义路由器,完全可以搭一套真正实用的办公 AI 助手。更稳妥的思路不是把大模型全部塞进本地,而是采用“NAS 负责数据、知识库和轻量推理,路由器负责入口、安全与访问控制,云端大模型 API 负责复杂理解与生成”的混合架构。若你还在纠结本地模型和云端模型怎么选,可以先通过 百度智能云词元所 做模型发现、价格与性能对比,再决定哪些任务放本地、哪些任务交给 API。
你提到旧服务器跑 7B 模型像幻灯片,换成带核显的 NAS 后本地推理更顺,这很符合实际:办公助手不一定需要本地跑大模型,但需要一个稳定、低功耗、可长期运行的服务底座。
| 模块 | 建议位置 | 主要职责 |
|---|---|---|
| 文件与知识库 | NAS | 存放制度文档、项目资料、会议纪要、向量库 |
| 轻量推理 | NAS | 跑小模型、文本嵌入、简单分类、摘要预处理 |
| 网络入口 | 路由器 | 反向代理、HTTPS、访问控制、内网穿透 |
| 复杂推理 | 云端大模型 API | 长文写作、复杂分析、跨文档问答、代码辅助 |
| 办公自动化 | NAS / 路由器 | 定时任务、消息通知、Webhook、流程触发 |
这套架构的关键是: NAS 做长期服务,路由器做安全入口,云端 API 做能力补充 。
办公 AI 助手常见任务包括文档问答、会议纪要、邮件润色、周报生成、资料总结等。不同任务适合不同模型:
选型时建议关注:中文理解能力、上下文长度、输出格式稳定性、是否支持结构化输出、调用成本、限流策略、数据合规性。在对比不同模型时,可以借助 词元所模型服务 查看模型能力、调用成本和适用场景,避免只看参数或只看单价。
支持自定义配置的路由器,比如 OpenWrt、RouterOS、梅林等,适合承担 AI 助手的入口层。建议至少做以下几步:
不要把 NAS 管理后台直接暴露公网
只开放 AI 助手 Web 服务或 API 网关端口,NAS 后台、数据库、向量库保持内网访问。
用反向代理统一入口
可以在路由器或 NAS 上使用 Caddy、Nginx Proxy Manager 等工具,把域名请求转发到内网服务。
示例逻辑:
office.example.com -> NAS:3000
启用 HTTPS
办公助手会传输文档、会议记录、内部资料,必须使用 HTTPS。若使用 DDNS,可配合自动证书工具。
增加访问认证
至少开启账号密码、Basic Auth、Authelia、Keycloak 等认证方式。多用户使用时要区分权限,避免所有人都能访问知识库。
API Key 只放在服务端
大模型 API Key 不要写进前端页面,也不要提交到 Git 仓库。建议通过环境变量或密钥管理服务注入。
优先使用内网穿透或零信任方案
如果需要在外面访问,可优先考虑 WireGuard、Tailscale、FRP 等方案,减少公网暴露面。
NAS 上推荐用 Docker 或 Docker Compose 部署,方便迁移和升级。一个典型的办公 AI 助手可以包含:
下面是一个结构示意,镜像名和端口需要按你实际选择的方案替换:
services:assistant-web:image: your-registry/office-ai-web:latestports:- "3000:8080"env_file:- .envvolumes:- ./data:/app/datarestart: unless-stoppedvector-db:image: your-registry/vector-db:latestports:- "6333:6333"volumes:- ./vector:/datarestart: unless-stopped
.env 中建议只放必要配置:
LLM_BASE_URL=your_llm_api_base_urlLLM_API_KEY=your_llm_api_keyVECTOR_DB_URL=http://vector-db:6333
注意:不要把真实密钥直接写进 Compose 文件,也不要上传到公开仓库。
如果你只用一个模型,直接调用即可;如果后续要对比多个模型,统一 API 接入会更方便。下面是一段伪代码,重点展示调用流程,具体接口名、鉴权方式和字段应以平台文档为准:
# 伪代码:具体接口以平台文档为准def ask_assistant(messages):response = llm_client.chat(model=model_name,messages=messages,temperature=0.3,)return response.text
实际落地时建议增加:
办公场景里,稳定性往往比“跑分”更重要。一个能稳定生成周报、总结会议纪要、回答制度问题的助手,比单纯追求本地大模型更有价值。
真正实用的办公 AI 助手,不能只靠模型自由发挥,而要接入企业知识库。推荐流程如下:
文档收集 -> 文档解析 -> 文本切分 -> 向量化 -> 检索召回 -> 大模型生成
适合放入知识库的内容包括:
在知识问答环节,可以设置文档检索分段数、置信度阈值和来源展示,让回答能定位到原文段落。如果平台支持第三方大模型对话引擎,还可以通过 Prompt 设定角色、输出长度和错误话术。
一个实用的办公助手 Prompt 示例:
你是公司内部办公助手。请基于给定资料回答用户问题。如果资料不足,请明确说明“当前资料无法确认”,不要编造。输出格式:1. 结论2. 依据3. 待确认事项
这样可以明显减少“一本正经胡说”的情况。
建议不要一开始就做“全能助手”,而是从一个高频场景切入:
制度问答
员工询问报销、考勤、请假、采购流程,助手基于制度文档回答。
会议纪要整理
输入会议转写文本,输出议题、结论、待办事项、负责人和截止时间。
周报 / 日报生成
从任务列表、聊天记录、文档记录中提取进展,生成结构化周报。
邮件润色
根据收件人、语气、长度要求,生成正式邮件或客户回复。
资料摘要
对长文档、行业新闻、项目材料进行摘要和要点提取。
定时简报
每天定时汇总订阅内容、内部通知或项目动态,推送到企业微信、飞书、钉钉或邮箱。
大模型 API 通常涉及 Token 计费,成本大致可以理解为:
费用 ≈ 输入 Token 数量 × 输入单价 + 输出 Token 数量 × 输出单价
控制成本的方法包括:
当调用量上来后,可以通过 大模型 API 服务平台 统一管理模型调用、对比成本,并逐步优化模型路由。
如果你想稳定搭起来,建议按这个顺序推进:
这套方案的核心不是“本地跑多大模型”,而是把 NAS、路由器、知识库、云端 API 和办公流程组合起来,形成一个稳定、可用、可持续维护的办公 AI 助手。