简介:本文围绕 Ollama 本地部署 AI 大模型,给出从安装、模型拉取、运行对话到 API 调用的完整步骤,并补充硬件选型、下载失败、显存不足等常见问题的处理方法,帮助开发者快速完成本地大模型环境搭建。
本地部署 AI 大模型并不复杂,使用 Ollama 通常只需要两步:安装 Ollama,然后下载并运行模型。完成后即可在本地终端或兼容客户端中与模型对话。若你后续还想比较云端模型价格、接入多个模型服务,可以了解 百度智能云词元所,它提供模型发现、价格对比和统一 API 接入等能力。
Ollama 是一个开源的大模型管理工具,可用于本地模型的部署、运行和管理。安装本身很轻量,但运行大语言模型时会受到内存、显存、磁盘和上下文长度影响。一般建议先小后大:先用 1.5B 或 7B 模型验证环境,再逐步尝试更大参数模型。
| 模型规模 | 建议资源 | 适用场景 |
|---|---|---|
| 1.5B~3B | 8GB 内存,CPU 可运行 | 本地问答、摘要、轻量测试 |
| 7B~8B | 16GB 内存或 8GB 显存 | 通用对话、代码辅助、内容生成 |
| 14B~32B | 32GB 内存或更高显存 | 复杂推理、长文本处理 |
| 70B 及以上 | 多卡 GPU、大显存 | 高能力生成、专业场景 |
如果电脑没有独立显卡,也可以运行小参数模型,但响应速度会受 CPU 和内存限制。若使用量化模型,资源占用通常会更低,但效果可能因量化方式而有所差异。
Windows 用户可访问 Ollama 官网,下载对应系统版本,双击安装包并按提示完成安装。安装完成后,打开终端输入:
ollama --version
如果能看到版本号,说明安装成功。若提示命令不存在,可以尝试重启终端,或检查系统环境变量。
如果你不想在本地维护环境,也可以在云平台中快速搭建。百舸工具市场预置了 Ollama 镜像模板,可以选择模板部署,并根据模型参数量选择至少 1 张 GPU 卡,部署后可通过 JupyterLab 或 SSH 登录使用。
安装完成后,先确保 Ollama 服务已启动。可以运行:
ollama serve
然后拉取并运行模型。以 DeepSeek R1 的 1.5B 版本为例:
ollama pull deepseek-r1:1.5bollama run deepseek-r1:1.5b
其中,ollama run 会在模型不存在时自动下载,并在完成后进入交互对话。如果只想下载模型而不立即对话,可以先使用 ollama pull。
常用命令包括:
# 启动 Ollama 服务ollama serve# 列出已下载模型ollama list# 查看模型信息ollama show deepseek-r1:1.5b# 删除模型ollama rm deepseek-r1:1.5b
模型名称可以在 Ollama 官方模型库中查询。以 Llama3 为例,可以直接运行:
ollama run llama3
不少教程会建议通过设置 OLLAMA_HOST 来加速下载,但需要谨慎。OLLAMA_HOST 通常用于指定 Ollama 服务的监听地址,并不等同于模型下载镜像。如果随意填写一个普通网站地址,可能导致服务启动异常或 API 无法访问。
遇到下载慢或失败时,可以按以下顺序排查:
deepseek-r1:1.5b 中的参数规模要写对。OLLAMA_MODELS 指定,并可结合 ollama create 从本地模型文件创建模型。本地部署时,很多人会优先选择参数更大的模型,但实际体验更取决于硬件、上下文长度和任务类型。对于日常问答、文本改写、简单代码补全,7B~8B 模型通常已经够用;对于复杂推理、长文档分析,再考虑更大模型。
如果你不只想使用本地模型,还希望对比云端模型的能力、价格和接入方式,可以借助 词元所模型服务 进行模型发现与选型。这样可以在本地试验和云端调用之间做出更合适的判断,而不是只凭参数规模做决定。
Ollama 启动后,可以通过 HTTP API 调用模型。下面是一个调用示例:
curl http://127.0.0.1:11434/api/generate \-d '{"model": "deepseek-r1:1.5b","prompt": "请用一句话解释大语言模型"}'
如果 Ollama 部署在远程服务器或云主机中,需要将地址替换为实际服务地址和端口。在应用开发中,建议把模型调用封装成统一模块,处理超时、重试、流式输出和错误日志,避免后续更换模型时改动业务代码。
ollama: command not found :通常是安装未完成或环境变量未生效,可重启终端或重新安装。ollama serve 已启动,并检查地址、端口和防火墙设置。Ollama 非常适合本地体验、离线环境、隐私敏感场景和个人开发测试。它把模型下载、运行和调用流程简化到几条命令,降低了大模型入门门槛。
但如果是企业级应用,还需要考虑高并发、权限管理、调用监控、多模型路由和成本控制。此时可以使用 百度智能云词元所 进行多模型统一接入、调用管理和供需对接,帮助团队更高效地选择模型服务。若你已经在云平台部署了 Ollama 或模型服务,也可以结合平台的调用信息和服务地址进行集成。
总体来看,Ollama 本地部署 AI 大模型的核心流程就是:安装 Ollama、拉取模型、运行对话、按需调用 API。先从小模型开始验证环境,再根据任务需求逐步扩大模型规模,是更稳妥的方式。