简介:本地模型能推理,并不等于 Copilot Fusion 全流程离线。本文解释本地推理、模型发现与云端路由的差异,分析 Copilot CLI 与桌面端在本地模型支持上的不同,并给出断网验证、配置排查和成本评估方法,帮助开发者判断哪些环节仍依赖网络。
本地模型已经跑起来了,Copilot Fusion 为什么还要联网?答案并不在“模型能不能推理”,而在“Copilot Fusion 是否只负责推理”。Copilot Fusion 是模型路由与任务协调机制,它决定请求交给哪个模型、如何接入后续编码流程。本地模型可以完成生成,但路由决策、权限校验、模型发现、策略同步和遥测仍可能依赖云端。如果你正在评估本地模型与云端模型的混合接入,可以先通过百度智能云词元所了解模型发现、价格性能对比和统一 API 接入能力,再判断哪些任务适合本地,哪些适合云端。
很多讨论把“本地模型跑起来”理解成“整个 Copilot 可以断网”。实际上至少要拆成三层:
| 环节 | 作用 | 是否一定需要联网 |
|---|---|---|
| 本地推理 | 模型在本地设备加载并生成结果 | 不一定,取决于推理服务是否本地运行 |
| 模型发现 | Copilot 能否看到并识别本地模型 | 可能需要配置接口、模型列表或客户端刷新 |
| 自动路由 | Copilot Fusion 是否把请求分配给该模型 | 通常依赖云端策略、权限和白名单 |
本地推理只说明模型文件、推理环境和 OpenAI 兼容接口已经可用。模型能被 Copilot 发现,也不等于它会进入 Fusion 的自动路由。自动路由还取决于产品入口、实验性功能开关、模型白名单资格和账号权限。
Copilot Fusion 的核心不是“在本地跑模型”,而是“在多个模型之间做选择”。这类系统通常需要云端控制面来完成以下工作:
因此,即使本地模型已经启动,Copilot Fusion 仍可能联网。它联网不一定是为了运行模型,而是为了做“调度、鉴权、策略和可观测性”。
不同客户端的本地模型能力并不相同。原文提到的关键差异可以概括如下:
| 客户端 | 本地模型接入方式 | 自动路由支持 |
|---|---|---|
| Copilot CLI | 在 Windows、macOS、Linux 上配置本地 OpenAI 兼容接口 | 需要启用实验性本地路由,并选择 Standard 模式 |
| Copilot 桌面端 | 支持 BYOK 连接并手动选择兼容本地模型 | 当前智能路由主要支持 Windows ML 托管的模型 |
在 Copilot CLI 中,开发者需要自行准备模型文件和推理运行环境,然后通过本地 OpenAI 兼容接口接入。配置完成后,还要在设置中启用实验性本地路由,并在 Copilot Fusion 中选择 Standard 模式,符合条件的本地模型才有机会参与自动分配。
在 Copilot 桌面端中,即使用户通过自带密钥连接了本地模型,并且能够手动选中它,也不代表 Fusion 会在自动路由时选择它。桌面端的智能路由目前更偏向 Windows ML 托管模型,这与 CLI 的本地 OpenAI 兼容接口路径不同。
如果目标是验证“断网可用”,需要分别测试以下几类能力:
所以,判断代码数据是否离开本地,不能只看“模型是否在本地”,而要看“请求是否被发送到云端”以及“客户端是否上传遥测或上下文”。
以下是一个常见的验证流程,适用于 Copilot CLI 场景。具体字段和界面名称请以当前版本文档为准。
确保本地推理服务暴露 /v1/models 和 /v1/chat/completions 等接口。可以先手动测试:
curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "local-code-model","messages": [{"role": "user", "content": "用 Python 写一个快速排序"}]}'
如果本地接口无法返回结果,Copilot 侧大概率也无法正常调用。
配置的核心通常包括本地服务地址、模型名称和访问密钥。示例仅用于说明结构:
{"local_models": [{"name": "local-code-model","base_url": "http://127.0.0.1:8000/v1","api_key": "local"}],"fusion": {"local_routing_experimental": true,"mode": "standard"}}
这里的 base_url 应指向本地 OpenAI 兼容服务,model 名称要与本地服务实际暴露的模型名一致。api_key 在本地场景中通常只是占位符,但仍需按客户端要求填写。
配置完成后,需要确认模型出现在 Copilot 的模型列表或设置页面中。模型可见只代表“被发现”,不代表“会被自动路由”。
可以临时关闭网络、禁用 Wi-Fi,或使用防火墙阻断外网访问,然后观察:
如果企业环境使用代理、证书或零信任策略,还需要额外检查代理是否拦截了本地回环地址或模型服务端口。
本地模型看起来可以省去云端 Token 费用,但成本并不只是调用费。企业需要综合评估:
如果团队需要在本地模型、云端模型和第三方模型之间做选择,可以借助百度智能云词元所进行模型价格与性能对比,并通过统一 API 接入降低多模型集成复杂度。对于混合路由场景,统一接入层可以减少重复适配工作,让团队更专注于任务分流和效果评估。
总体来看,Copilot Fusion 引入本地模型,并不意味着整个编码工作流都脱离网络。本地模型解决的是“推理在哪里运行”,而 Copilot Fusion 解决的是“任务应该交给哪个模型”。只有把推理、发现、路由、权限和遥测拆开评估,才能准确判断断网后的可用范围,以及代码数据是否可能离开本地设备。