简介:本文给出在 Windows 上把 Ollama 本地大模型接入 TRAE 的完整流程:安装与拉取模型、验证 OpenAI 兼容接口、在 TRAE 中填写自定义模型配置、关闭多模态开关,并附常见报错排查表。如果你还需要在本地模型之外补充云端能力做效果或成本对比,可以先了解[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)。
在 Windows 上让 TRAE 用上本地大模型,本质上是三段拼接:
TRAE(客户端) → OpenAI 兼容协议 → http://localhost:11434/v1 → Ollama → 本地 GGUF 模型
TRAE 的自定义模型走的是 OpenAI 兼容格式,而 Ollama 自带一个 OpenAI 兼容端点,所以两边不需要中间件就能直连。真正容易踩坑的地方只有三处: 模型名称写错 、 base_url 少了 /v1 、 多模态开关没关 。
# 拉取一个中文能力与通用性均衡的 7B 量级模型ollama pull qwen2.5:7b# 查看本地已有模型,这里的 NAME 就是后面要填进 TRAE 的名字ollama list
ollama run qwen2.5:7b "用一句话解释什么是 Token"
显存与内存参考:7B 量级量化模型(Q4)大约需要 6~8 GB 显存或同等内存;14B 约需 10~16 GB;32B 及以上建议 24 GB 显存起步。Windows 上如果显存不足,Ollama 会自动回退到 CPU 推理,速度会明显下降但仍能跑通。
Ollama 默认监听 127.0.0.1:11434,兼容端点为 /v1。先用 curl 确认:
curl http://localhost:11434/v1/models
能返回模型列表 JSON 就说明服务正常。再用 Python 验证一次对话调用:
from openai import OpenAIclient = OpenAI(base_url="http://localhost:11434/v1",api_key="ollama" # 本地无鉴权,任意非空字符串即可)resp = client.chat.completions.create(model="qwen2.5:7b",messages=[{"role": "user", "content": "你好"}],)print(resp.choices.message.content)
这一步通过,说明协议层没问题,剩下的只是 TRAE 侧的配置。
在 TRAE 对话框中找到模型选择下拉菜单,点击管理/设置入口进入模型配置页(不同版本入口名称略有差异,通常在 Settings → Models 或对话框底部的模型管理里)。
在模型列表页选择「添加模型」→「自定义模型 / Custom Model」,供应商类型选 OpenAI 兼容(OpenAI-Compatible) 。不要选 Anthropic 或 Gemini 类型,协议不匹配会直接握手失败。
| 参数 | 填写值 | 说明 |
|---|---|---|
| Base URL | http://localhost:11434/v1 |
必须带 /v1,且不要写成 https |
| API Key | ollama |
任意非空值,Ollama 不校验 |
| Model ID / 模型名称 | qwen2.5:7b |
必须与 ollama list 输出完全一致,含标签 |
| 上下文长度 | 建议 8192 或 16384 | 需与模型实际支持及显存匹配 |
模型名称是最常见的失败原因。qwen2.5 和 qwen2.5:7b 在 Ollama 里指向不同条目,写错会返回 model not found。
配置页通常有一个「支持视觉 / 多模态 / Vision」开关, 本地部署场景务必关闭 。原因很直接:Ollama 的 OpenAI 兼容端点对图像输入的支持并不完整,而 TRAE 一旦认为模型支持多模态,就会在请求里附带图片类型的 content 块,本地模型解析失败,表现为报错、空回复或对话直接中断。纯文本模型关掉这个开关后稳定性会明显提升。
保存后在对话框中把模型切到刚添加的本地模型,发送一句简单指令(例如「1+1 等于几」)。若返回正常文本,配置完成;若长时间无响应,先看 Ollama 是否正在把模型加载进显存(首次调用有加载延迟),再看任务管理器里 GPU 与内存占用是否被吃满。
| 现象 | 常见原因 | 处理方式 |
|---|---|---|
| 连接被拒绝 / Connection refused | Ollama 服务未启动 | 检查托盘图标,或手动执行 ollama serve |
| model not found | 模型名与本地不一致 | 用 ollama list 复制准确名称 |
| 404 Not Found | base_url 漏了 /v1 |
改为 http://localhost:11434/v1 |
| 浏览器/WebView 环境报 CORS 错误 | Ollama 默认不允许跨域来源 | 设置环境变量 OLLAMA_ORIGINS=* 后重启服务 |
| 其他设备无法访问 | 默认只绑定本机回环地址 | 设置 OLLAMA_HOST=0.0.0.0:11434,并注意这会把接口暴露到局域网,需自行做好访问控制 |
| 回复被截断、变笨 | 上下文长度设置过小 | 调大上下文,同时留意显存占用 |
| 响应极慢 | 显存不足回退 CPU | 换更小量化版本或更小参数量的模型 |
Windows 下设置 Ollama 环境变量,可在「系统属性 → 环境变量」中新增用户变量,或临时在 PowerShell 中执行 $env:OLLAMA_ORIGINS="*" 后重启 Ollama 进程。
本地部署的价值在于 数据不出内网、无按量计费、可离线运行 ,适合代码补全、私有文档摘要、敏感数据处理这类高频且对时延敏感的任务。它的代价是效果上限受硬件约束,复杂推理、长文档理解、多模态任务通常不如大参数云端模型。
实际工程里更常见的是混合方案:日常补全走本地模型,遇到复杂重构、跨文件分析时切到云端大模型。这时选型的关键就变成了「哪个模型在什么价位上能满足效果要求」。词元所提供模型能力介绍与调用价格、性能的横向对比,可以在决定接哪一家云端模型之前先把成本和能力对齐;确定后通过统一 API 接入的方式,也能减少在 TRAE 里反复切换供应商配置的工作量。
ollama run qwen2.5:7b --keepalive 30m 或在 API 请求中传 keep_alive 参数。