简介:本文面向需要在低功耗ARM64单板机上部署本地大模型推理服务的开发者与运维人员,系统讲解从环境检查、Swap扩容、推理框架手动安装、系统服务配置到模型加载运行与验证的完整流程,重点解决磁盘空间不足、权限错误、服务启动失败等常见问题,并提供上线验证、故障排查与长期运维的实践建议。
本文的目标是在一块低功耗、ARM64架构的单板计算机上,完成一个本地大模型推理框架的部署,并加载运行一个小参数量的开源大语言模型(0.8B级别),最终通过本地接口验证模型推理是否正常。部署完成后,设备将具备离线提供文本生成服务的能力,适合作为个人实验环境、边缘侧原型验证或轻量级本地推理节点的搭建参考。
这类部署任务适合以下读者:
在开始之前,需要理解几个基本背景:推理框架通常以二进制程序加系统服务的形式运行;模型文件体积较大,对磁盘和内存有明确要求;在ARM64设备上,需要使用与架构匹配的安装包;此外,安装过程中涉及临时目录、专用运行用户与系统服务配置等环节,任何一个环节配置不当都可能导致安装或启动失败。
部署前必须确认硬件资源满足最低要求,否则会出现解压失败、模型加载中断等问题:
| 资源项 | 最低要求 | 说明 |
|---|---|---|
| 可用磁盘 | ≥10GB | 安装包下载、解压与模型存储 |
| 内存 | ≥2GB | 模型加载与推理运行 |
| Swap | 建议4GB | 缓解解压与加载大文件时的内存压力 |
| 架构 | ARM64 | 必须使用匹配架构的安装包 |
资源规划的核心逻辑是:单板机的物理内存有限,而模型推理在加载阶段需要一次性占用较多内存,如果Swap过小,系统在内存峰值时可能触发进程被终止(OOM),表现为安装中断或服务启动后立即退出。因此提前扩容Swap是保证部署成功率的关键一步。
首先确认当前磁盘与内存状态:
# 查看磁盘使用情况,确认根分区剩余空间是否满足要求df -h# 查看内存与Swap状态free -h
需要重点确认:根分区(/)剩余空间不少于10GB;可用内存加Swap总量能够覆盖模型加载需求。如果磁盘空间紧张,应先清理无用文件或扩展存储,再继续部署。
单板机默认的Swap通常很小,解压大体积安装包时容易触发内存不足错误。扩容步骤如下:
# 安装swap管理工具(若未安装)sudo apt update && sudo apt install -y dphys-swapfile
编辑Swap配置文件:
sudo nano /etc/dphys-swapfile
配置内容示例(设置为4GB Swap):
CONF_SWAPFILE=/var/swapCONF_SWAPSIZE=4096CONF_MAXSWAP=4096
保存退出后,重建并启用Swap:
sudo dphys-swapfile swapoffsudo dphys-swapfile setupsudo dphys-swapfile swapon
验证Swap是否生效:
sudo swapon --show
输出中显示SIZE为4G即表示配置成功。这一步的意义在于为后续的解压、模型加载等内存峰值操作提供缓冲空间,显著降低部署失败概率。
常见的官方安装脚本会将文件先下载到内存型临时目录(/tmp),而单板机的内存本身有限,极易触发空间不足错误。手动安装的核心思路是:将安装包下载到物理磁盘上的用户目录,在磁盘上完成解压,再复制到系统目录,从而绕过临时目录的容量限制。
切换到用户目录(物理磁盘,空间充足):
cd /home/$(whoami)
下载ARM64架构的安装包。由于原始仓库位于境外托管平台,网络不佳时可使用社区通用的镜像加速代理,即在原始链接前拼接加速前缀,例如“某托管平台加速代理地址 + 原始下载路径”:
wget <加速前缀>/<托管平台域名>/ollama/ollama/releases/latest/download/ollama-linux-arm64.tar.zst -O ollama-linux-arm64.tar.zst
注意事项:
# 创建临时解压目录mkdir -p /ollama_temp# 使用zstd算法解压,避免tar无法识别压缩格式sudo tar -I zstd -xf ollama-linux-arm64.tar.zst -C /ollama_temp# 复制到系统目录,完成安装sudo cp -r /ollama_temp/* /usr/local/# 清理临时文件,释放磁盘rm -rf /ollama_temprm ollama-linux-arm64.tar.zst
这里有两个关键点:一是压缩包采用zstd格式,解压时必须显式指定-I zstd,否则tar无法识别算法;二是安装后应及时清理临时文件,在空间有限的设备上保持磁盘余量是良好习惯。
为了让推理框架以守护进程方式稳定运行,需要创建专用的系统用户和服务单元:
# 创建无登录权限的系统级用户sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
使用专用用户运行服务符合权限最小化原则:即使服务异常,也不会直接影响主用户环境,同时便于统一管理模型文件的读写权限。
创建服务文件:
sudo tee /etc/systemd/system/ollama.service > /dev/null << 'EOF'[Unit]Description=Ollama ServiceAfter=network-online.target[Service]User=ollamaGroup=ollamaExecStart=/usr/local/bin/ollama serveRestart=alwaysRestartSec=3Environment="OLLAMA_HOST=0.0.0.0:11434"[Install]WantedBy=default.targetEOF
关键配置说明:
User/Group:指定以专用低权限用户运行,符合安全控制要求;ExecStart:指向已安装的二进制路径,以服务模式启动;Restart=always与RestartSec=3:进程异常退出后自动拉起,保障稳定性;Environment:配置监听地址与端口,如需局域网访问可绑定0.0.0.0,仅本机使用则建议保持默认回环地址以缩小暴露面。启动并设置开机自启:
sudo systemctl daemon-reloadsudo systemctl enable ollamasudo systemctl start ollama
# 拉取小参数量模型ollama pull <小型开源模型名>:0.8b# 运行模型进行交互验证ollama run <小型开源模型名>:0.8b
首次拉取时模型文件会写入专用用户的数据目录,因此要确保该目录所在分区有足够空间。
部署完成后,应从以下维度验证:
systemctl status ollama,确认服务处于active (running)状态,无反复重启记录;free -h观察推理时的内存占用,确认未触发OOM;通过df -h确认磁盘余量充足;journalctl -u ollama定位报错;chown修正。Restart=always配置,重要场景下配置日志轮转,避免日志占满磁盘;本文完整覆盖了在ARM64单板机上部署本地推理框架并运行小型开源模型的全流程:从磁盘与内存检查、Swap扩容等资源准备,到绕过临时目录限制的手动安装、专用用户与系统服务配置,再到模型拉取、推理验证与问题排查。核心经验有三点:一是资源受限环境下提前扩容Swap至关重要;二是手动安装可规避临时目录容量陷阱;三是以专用用户配合系统服务运行,兼顾安全性与稳定性。完成部署后,持续做好资源监控、访问控制与版本管理,即可让设备长期稳定地提供本地推理服务。