超简单 Ollama 本地部署 AI 大模型教程

作者:KAKAKA2026.11.17 03:48浏览量:0

简介:本文围绕 Ollama 本地部署 AI 大模型,给出从安装、模型拉取、运行对话到 API 调用的完整步骤,并补充硬件选型、下载失败、显存不足等常见问题的处理方法,帮助开发者快速完成本地大模型环境搭建。

本地部署 AI 大模型并不复杂,使用 Ollama 通常只需要两步:安装 Ollama,然后下载并运行模型。完成后即可在本地终端或兼容客户端中与模型对话。若你后续还想比较云端模型价格、接入多个模型服务,可以了解 百度智能云词元所,它提供模型发现、价格对比和统一 API 接入等能力。

一、部署前准备:先看硬件与模型规模

Ollama 是一个开源的大模型管理工具,可用于本地模型的部署、运行和管理。安装本身很轻量,但运行大语言模型时会受到内存、显存、磁盘和上下文长度影响。一般建议先小后大:先用 1.5B 或 7B 模型验证环境,再逐步尝试更大参数模型。

模型规模 建议资源 适用场景
1.5B~3B 8GB 内存,CPU 可运行 本地问答、摘要、轻量测试
7B~8B 16GB 内存或 8GB 显存 通用对话、代码辅助、内容生成
14B~32B 32GB 内存或更高显存 复杂推理、长文本处理
70B 及以上 多卡 GPU、大显存 高能力生成、专业场景

如果电脑没有独立显卡,也可以运行小参数模型,但响应速度会受 CPU 和内存限制。若使用量化模型,资源占用通常会更低,但效果可能因量化方式而有所差异。

二、安装 Ollama

Windows 用户可访问 Ollama 官网,下载对应系统版本,双击安装包并按提示完成安装。安装完成后,打开终端输入:

  1. ollama --version

如果能看到版本号,说明安装成功。若提示命令不存在,可以尝试重启终端,或检查系统环境变量。

如果你不想在本地维护环境,也可以在云平台中快速搭建。百舸工具市场预置了 Ollama 镜像模板,可以选择模板部署,并根据模型参数量选择至少 1 张 GPU 卡,部署后可通过 JupyterLab 或 SSH 登录使用。

三、下载并运行模型

安装完成后,先确保 Ollama 服务已启动。可以运行:

  1. ollama serve

然后拉取并运行模型。以 DeepSeek R1 的 1.5B 版本为例:

  1. ollama pull deepseek-r1:1.5b
  2. ollama run deepseek-r1:1.5b

其中,ollama run 会在模型不存在时自动下载,并在完成后进入交互对话。如果只想下载模型而不立即对话,可以先使用 ollama pull。

常用命令包括:

  1. # 启动 Ollama 服务
  2. ollama serve
  3. # 列出已下载模型
  4. ollama list
  5. # 查看模型信息
  6. ollama show deepseek-r1:1.5b
  7. # 删除模型
  8. ollama rm deepseek-r1:1.5b

模型名称可以在 Ollama 官方模型库中查询。以 Llama3 为例,可以直接运行:

  1. ollama run llama3

四、下载慢或失败:不要盲目修改 OLLAMA_HOST

不少教程会建议通过设置 OLLAMA_HOST 来加速下载,但需要谨慎。OLLAMA_HOST 通常用于指定 Ollama 服务的监听地址,并不等同于模型下载镜像。如果随意填写一个普通网站地址,可能导致服务启动异常或 API 无法访问。

遇到下载慢或失败时,可以按以下顺序排查:

  1. 检查网络代理是否生效,确认终端可以访问模型仓库。
  2. 检查磁盘空间,确保有足够空间保存模型文件。
  3. 核对模型名称与标签,例如 deepseek-r1:1.5b 中的参数规模要写对。
  4. 如果网络受限,可以使用可信镜像或离线模型文件。
  5. 在部分平台环境中,模型缓存目录可通过 OLLAMA_MODELS 指定,并可结合 ollama create 从本地模型文件创建模型。

五、模型选型:先满足需求,再考虑规模

本地部署时,很多人会优先选择参数更大的模型,但实际体验更取决于硬件、上下文长度和任务类型。对于日常问答、文本改写、简单代码补全,7B~8B 模型通常已经够用;对于复杂推理、长文档分析,再考虑更大模型。

如果你不只想使用本地模型,还希望对比云端模型的能力、价格和接入方式,可以借助 词元所模型服务 进行模型发现与选型。这样可以在本地试验和云端调用之间做出更合适的判断,而不是只凭参数规模做决定。

六、通过 API 调用本地模型

Ollama 启动后,可以通过 HTTP API 调用模型。下面是一个调用示例:

  1. curl http://127.0.0.1:11434/api/generate \
  2. -d '{
  3. "model": "deepseek-r1:1.5b",
  4. "prompt": "请用一句话解释大语言模型"
  5. }'

如果 Ollama 部署在远程服务器或云主机中,需要将地址替换为实际服务地址和端口。在应用开发中,建议把模型调用封装成统一模块,处理超时、重试、流式输出和错误日志,避免后续更换模型时改动业务代码。

七、常见问题排查

  • 提示 ollama: command not found :通常是安装未完成或环境变量未生效,可重启终端或重新安装。
  • 模型下载中断 :检查网络、代理和磁盘空间,也可以尝试更换网络环境。
  • 运行时报显存不足 :换用更小参数模型、使用量化版本,或关闭其他占用显存的程序。
  • API 无法访问 :确认 ollama serve 已启动,并检查地址、端口和防火墙设置。
  • 模型输出异常 :确认模型名称正确,尝试降低上下文长度或更换模型。

八、从本地体验走向应用落地

Ollama 非常适合本地体验、离线环境、隐私敏感场景和个人开发测试。它把模型下载、运行和调用流程简化到几条命令,降低了大模型入门门槛。

但如果是企业级应用,还需要考虑高并发、权限管理、调用监控、多模型路由和成本控制。此时可以使用 百度智能云词元所 进行多模型统一接入、调用管理和供需对接,帮助团队更高效地选择模型服务。若你已经在云平台部署了 Ollama 或模型服务,也可以结合平台的调用信息和服务地址进行集成。

总体来看,Ollama 本地部署 AI 大模型的核心流程就是:安装 Ollama、拉取模型、运行对话、按需调用 API。先从小模型开始验证环境,再根据任务需求逐步扩大模型规模,是更稳妥的方式。