简介:本文详细介绍了如何在本地环境中安装和运行DeepSeek大模型,包括硬件要求、环境配置、模型下载、推理部署等完整流程,并提供了常见问题解决方案和优化建议。
DeepSeek是由深度求索公司开发的开源大语言模型系列,包含不同参数规模的模型版本(如7B、13B等)。本地安装DeepSeek大模型可以带来以下优势:
模型规模 | 显存要求 | 推荐显卡 |
---|---|---|
7B | 10GB+ | RTX 3080 |
13B | 24GB+ | RTX 4090 |
# 创建conda虚拟环境(推荐Python 3.9-3.10)
conda create -n deepseek python=3.9
conda activate deepseek
# 安装基础依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers>=4.33 accelerate sentencepiece
metal
版本PyTorch:
pip install torch torchvision torchaudio -f https://download.pytorch.org/whl/nightly/cpu/torch_nightly.html
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "deepseek-ai/deepseek-llm-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
git lfs
克隆仓库:
git lfs install
git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b
model = AutoModelForCausalLM.from_pretrained("./deepseek-llm-7b")
input_text = "请用中文解释机器学习的概念"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
model = AutoModelForCausalLM.from_pretrained(model_name, load_in_8bit=True)
pip install vllm
from vllm import LLM, SamplingParams
llm = LLM(model="deepseek-ai/deepseek-llm-7b")
fp16
精度:model.half()
model.gradient_checkpointing_enable()
tokenizer.add_special_tokens({'pad_token': '[PAD]'})
使用FastAPI搭建推理接口:
from fastapi import FastAPI
app = FastAPI()
@app.post("/generate")
async def generate_text(prompt: str):
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200)
return {"response": tokenizer.decode(outputs[0])}
pip install peft
from peft import LoraConfig, get_peft_model
通过本指南,开发者可以完成从零开始到生产级部署的完整流程。建议首次安装时预留2-3小时完成所有步骤,遇到问题可参考官方GitHub的Issues板块获取社区支持。