NAS+路由器接入大模型搭建办公AI助手教程

作者:热心市民鹿先生2026.11.17 03:48浏览量:0

简介:本文围绕已有 NAS 和可自定义路由器如何接入大模型,给出从模型选型、网络入口、Docker 服务部署到办公知识库与自动化流程的实操方案,并介绍如何用统一 API 平台降低多模型接入成本。

家里有 NAS 和可自定义路由器,完全可以搭一套真正实用的办公 AI 助手。更稳妥的思路不是把大模型全部塞进本地,而是采用“NAS 负责数据、知识库和轻量推理,路由器负责入口、安全与访问控制,云端大模型 API 负责复杂理解与生成”的混合架构。若你还在纠结本地模型和云端模型怎么选,可以先通过 百度智能云词元所 做模型发现、价格与性能对比,再决定哪些任务放本地、哪些任务交给 API。

一、先确定架构:NAS、路由器、云端 API 各干什么

你提到旧服务器跑 7B 模型像幻灯片,换成带核显的 NAS 后本地推理更顺,这很符合实际:办公助手不一定需要本地跑大模型,但需要一个稳定、低功耗、可长期运行的服务底座。

模块 建议位置 主要职责
文件与知识库 NAS 存放制度文档、项目资料、会议纪要、向量库
轻量推理 NAS 跑小模型、文本嵌入、简单分类、摘要预处理
网络入口 路由器 反向代理、HTTPS、访问控制、内网穿透
复杂推理 云端大模型 API 长文写作、复杂分析、跨文档问答、代码辅助
办公自动化 NAS / 路由器 定时任务、消息通知、Webhook、流程触发

这套架构的关键是: NAS 做长期服务,路由器做安全入口,云端 API 做能力补充 。

二、模型选型:不要只看参数,要看任务匹配

办公 AI 助手常见任务包括文档问答、会议纪要、邮件润色、周报生成、资料总结等。不同任务适合不同模型:

  • 本地小模型 :适合隐私敏感、低延迟、重复性高的任务,例如文本分类、简单摘要、向量化预处理。
  • 云端大模型 :适合复杂写作、长上下文理解、多轮推理、跨文档分析。
  • 混合模式 :先用本地模型做清洗、切分、召回,再交给云端模型生成最终答案。

选型时建议关注:中文理解能力、上下文长度、输出格式稳定性、是否支持结构化输出、调用成本、限流策略、数据合规性。在对比不同模型时,可以借助 词元所模型服务 查看模型能力、调用成本和适用场景,避免只看参数或只看单价。

三、路由器配置:把入口做安全,而不是简单端口转发

支持自定义配置的路由器,比如 OpenWrt、RouterOS、梅林等,适合承担 AI 助手的入口层。建议至少做以下几步:

  1. 不要把 NAS 管理后台直接暴露公网
    只开放 AI 助手 Web 服务或 API 网关端口,NAS 后台、数据库、向量库保持内网访问。

  2. 用反向代理统一入口
    可以在路由器或 NAS 上使用 Caddy、Nginx Proxy Manager 等工具,把域名请求转发到内网服务。

    示例逻辑:

    1. office.example.com -> NAS:3000
  3. 启用 HTTPS
    办公助手会传输文档、会议记录、内部资料,必须使用 HTTPS。若使用 DDNS,可配合自动证书工具。

  4. 增加访问认证
    至少开启账号密码、Basic Auth、Authelia、Keycloak 等认证方式。多用户使用时要区分权限,避免所有人都能访问知识库。

  5. API Key 只放在服务端
    大模型 API Key 不要写进前端页面,也不要提交到 Git 仓库。建议通过环境变量或密钥管理服务注入。

  6. 优先使用内网穿透或零信任方案
    如果需要在外面访问,可优先考虑 WireGuard、Tailscale、FRP 等方案,减少公网暴露面。

四、NAS 部署:用 Docker 把服务跑起来

NAS 上推荐用 Docker 或 Docker Compose 部署,方便迁移和升级。一个典型的办公 AI 助手可以包含:

  • Web 对话界面
  • 后端 API 服务
  • 向量数据库
  • 文档解析服务
  • 定时任务服务

下面是一个结构示意,镜像名和端口需要按你实际选择的方案替换:

  1. services:
  2. assistant-web:
  3. image: your-registry/office-ai-web:latest
  4. ports:
  5. - "3000:8080"
  6. env_file:
  7. - .env
  8. volumes:
  9. - ./data:/app/data
  10. restart: unless-stopped
  11. vector-db:
  12. image: your-registry/vector-db:latest
  13. ports:
  14. - "6333:6333"
  15. volumes:
  16. - ./vector:/data
  17. restart: unless-stopped

.env 中建议只放必要配置:

  1. LLM_BASE_URL=your_llm_api_base_url
  2. LLM_API_KEY=your_llm_api_key
  3. VECTOR_DB_URL=http://vector-db:6333

注意:不要把真实密钥直接写进 Compose 文件,也不要上传到公开仓库。

五、接入大模型 API:统一调用更省心

如果你只用一个模型,直接调用即可;如果后续要对比多个模型,统一 API 接入会更方便。下面是一段伪代码,重点展示调用流程,具体接口名、鉴权方式和字段应以平台文档为准:

  1. # 伪代码:具体接口以平台文档为准
  2. def ask_assistant(messages):
  3. response = llm_client.chat(
  4. model=model_name,
  5. messages=messages,
  6. temperature=0.3,
  7. )
  8. return response.text

实际落地时建议增加:

  • 超时控制
  • 失败重试
  • 限流保护
  • 调用日志
  • 输入长度截断
  • 敏感词过滤
  • 输出格式校验

办公场景里,稳定性往往比“跑分”更重要。一个能稳定生成周报、总结会议纪要、回答制度问题的助手,比单纯追求本地大模型更有价值。

六、办公知识库:让助手回答有依据

真正实用的办公 AI 助手,不能只靠模型自由发挥,而要接入企业知识库。推荐流程如下:

  1. 文档收集 -> 文档解析 -> 文本切分 -> 向量化 -> 检索召回 -> 大模型生成

适合放入知识库的内容包括:

  • 公司制度
  • 项目文档
  • 会议纪要
  • 产品手册
  • 邮件模板
  • 周报模板
  • 常见问题

在知识问答环节,可以设置文档检索分段数、置信度阈值和来源展示,让回答能定位到原文段落。如果平台支持第三方大模型对话引擎,还可以通过 Prompt 设定角色、输出长度和错误话术。

一个实用的办公助手 Prompt 示例:

  1. 你是公司内部办公助手。请基于给定资料回答用户问题。
  2. 如果资料不足,请明确说明“当前资料无法确认”,不要编造。
  3. 输出格式:
  4. 1. 结论
  5. 2. 依据
  6. 3. 待确认事项

这样可以明显减少“一本正经胡说”的情况。

七、可以优先落地的办公场景

建议不要一开始就做“全能助手”,而是从一个高频场景切入:

  1. 制度问答
    员工询问报销、考勤、请假、采购流程,助手基于制度文档回答。

  2. 会议纪要整理
    输入会议转写文本,输出议题、结论、待办事项、负责人和截止时间。

  3. 周报 / 日报生成
    从任务列表、聊天记录、文档记录中提取进展,生成结构化周报。

  4. 邮件润色
    根据收件人、语气、长度要求,生成正式邮件或客户回复。

  5. 资料摘要
    对长文档、行业新闻、项目材料进行摘要和要点提取。

  6. 定时简报
    每天定时汇总订阅内容、内部通知或项目动态,推送到企业微信、飞书、钉钉或邮箱。

八、成本控制与调用管理

大模型 API 通常涉及 Token 计费,成本大致可以理解为:

  1. 费用 ≈ 输入 Token 数量 × 输入单价 + 输出 Token 数量 × 输出单价

控制成本的方法包括:

  • 长文档先摘要,再进入问答
  • 常见问题做缓存
  • 简单任务使用小模型或本地模型
  • 复杂任务再调用云端大模型
  • 限制单次输入长度
  • 记录调用日志,分析高频问题
  • 对输出格式做约束,减少无效生成

当调用量上来后,可以通过 大模型 API 服务平台 统一管理模型调用、对比成本,并逐步优化模型路由。

九、推荐落地顺序

如果你想稳定搭起来,建议按这个顺序推进:

  1. 先跑通一个场景 :比如制度问答或会议纪要。
  2. 再接知识库 :让回答有依据、可追溯。
  3. 再配路由器和 HTTPS :把访问入口做安全。
  4. 再加自动化 :定时摘要、消息推送、邮件生成。
  5. 最后做多用户和权限 :区分管理员、普通员工、访客。

这套方案的核心不是“本地跑多大模型”,而是把 NAS、路由器、知识库、云端 API 和办公流程组合起来,形成一个稳定、可用、可持续维护的办公 AI 助手。