简介:本文详细介绍如何在Linux服务器上部署Deepseek,并通过Mac实现远程Web-UI访问,涵盖环境准备、安装部署、网络配置及安全优化等全流程,适合开发者及企业用户参考。
Deepseek作为一款高性能的AI推理框架,支持本地化部署以满足隐私保护、低延迟或定制化需求。本文将详细介绍如何在Linux服务器上完成Deepseek的部署,并通过Mac设备实现远程Web-UI访问,覆盖从环境准备到安全优化的全流程。
# Ubuntu示例sudo apt updatesudo apt install -y python3-pip python3-dev git build-essentialsudo apt install -y nvidia-cuda-toolkit # 或通过NVIDIA官方脚本安装驱动
sudo useradd -m deepseeksudo passwd deepseeksudo usermod -aG sudo deepseek # 赋予sudo权限(可选)
# 在Mac终端生成密钥对ssh-keygen -t ed25519 -C "deepseek@server"# 将公钥上传至服务器ssh-copy-id -i ~/.ssh/id_ed25519.pub deepseek@服务器IP
git clone https://github.com/deepseek-ai/Deepseek.gitcd Deepseek
deepseek-7b为例):
wget https://model-zoo.deepseek.ai/models/deepseek-7b.tar.gztar -xzvf deepseek-7b.tar.gz -C ./models/
conda或venv创建隔离环境:
# Conda示例conda create -n deepseek_env python=3.10conda activate deepseek_envpip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118pip install -r requirements.txt # 安装Deepseek依赖
config.yaml中的关键参数:
model:path: "./models/deepseek-7b"device: "cuda" # 或"cpu"server:host: "0.0.0.0" # 允许外部访问port: 8080
python app.py --config config.yaml
* Running on http://0.0.0.0:8080。
telnet 服务器IP 8080# 或使用ncnc -zv 服务器IP 8080
sudo ufw allow 8080/tcp # Ubuntusudo firewall-cmd --add-port=8080/tcp --permanent # CentOS
server {listen 443 ssl;server_name deepseek.example.com;ssl_certificate /path/to/cert.pem;ssl_certificate_key /path/to/key.pem;location / {proxy_pass http://127.0.0.1:8080;proxy_set_header Host $host;}}
allow 192.168.1.0/24; # 允许内网访问deny all; # 拒绝其他IP
sudo apt install apache2-utilssudo htpasswd -c /etc/nginx/.htpasswd deepseek
auth_basic "Restricted";auth_basic_user_file /etc/nginx/.htpasswd;
htop或glances监控资源占用:
htop --user=deepseek
/etc/logrotate.d/deepseek):
/var/log/deepseek/*.log {dailymissingokrotate 7compress}
CUDA out of memory。batch_size或使用torch.cuda.empty_cache()。gradient_checkpointing=True)。Address already in use。
sudo lsof -i :8080 # 查找占用进程kill -9 <PID> # 终止进程
FileNotFoundError: [Errno 2] No such file or directory。config.yaml一致。df -h。config.yaml中配置多个模型:
models:- name: "deepseek-7b"path: "./models/deepseek-7b"- name: "deepseek-13b"path: "./models/deepseek-13b"
修改app.py支持RESTful API:
from fastapi import FastAPIapp = FastAPI()@app.post("/predict")async def predict(text: str):return {"result": deepseek_infer(text)}
通过本文的步骤,您可以在Linux服务器上高效部署Deepseek,并通过Mac实现安全的远程访问。关键点包括:
建议定期更新模型和依赖库,并监控资源使用情况以确保稳定性。对于生产环境,可考虑使用Kubernetes进行容器化部署以提升可扩展性。