简介:本文按步骤讲解小参数开源大模型的显存规划、推理服务部署、角色扮演SFT数据构造与训练配置,并给出curl验证示例和常见报错排查方法。读完后,你可以在单张GPU上完成推理上线和一次微调实验,并判断微调后的模型是否保留了通用能力。
部署前先确认三件事:参数量、数值精度、用途(仅推理还是要微调)。下表按bf16权重估算,数值为经验下限,实际以压测结果为准。
| 参数量 | 推理(bf16) | LoRA微调(bf16) | 全参微调 |
|---|---|---|---|
| 0.5B至1.5B | 8GB起 | 12GB起 | 32GB起 |
| 3B | 12GB起 | 16GB起 | 60GB起 |
| 7B | 20GB起 | 24GB起 | 多卡或80GB以上 |
表中的数值只包含模型权重、KV缓存和少量框架开销,不包含长上下文、大批次带来的额外激活显存。使用INT4或INT8量化可以降低显存占用,但会影响生成质量,上线前需要单独评估。
学习率按训练方式区分。全参微调常用1e-5至2e-5,LoRA常用1e-4至2e-4。全参微调使用过大学习率容易导致灾难性遗忘,即模型丢失原有的通用能力。
以Ubuntu 22.04、已安装NVIDIA驱动的GPU实例为例,Python使用3.10或3.11。PyTorch的版本需要与vLLM要求的版本一致,安装前请查阅vLLM官方文档。
sudo apt update && sudo apt install -y python3-venv gitpython3 -m venv ~/llm-envsource ~/llm-env/bin/activatepip install --upgrade pippip install torch --index-url https://download.pytorch.org/whl/cu121pip install vllm fastapi uvicorn transformers peft accelerate datasets
权重下载后,目录结构应包含config.json、分词器文件和*.safetensors权重文件:
mkdir -p /data/models/<model-name>ls /data/models/<model-name>
使用vLLM提供OpenAI兼容接口。--max-model-len控制上下文长度,直接影响显存占用;--max-num-seqs限制并发序列数,防止高并发时显存溢出。
export API_KEY=<your-key>vllm serve /data/models/<model-name> \--served-model-name small-llm \--host 0.0.0.0 --port 8000 \--max-model-len 4096 \--max-num-seqs 16 \--gpu-memory-utilization 0.85 \--api-key $API_KEY
启动后检查模型列表,返回HTTP 200且包含small-llm即表示服务正常:
curl -s http://127.0.0.1:8000/v1/models -H "Authorization: Bearer $API_KEY"
用下面的请求测试生成能力:
curl http://<服务器IP>:8000/v1/chat/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer $API_KEY" \-d '{"model":"small-llm","messages":[{"role":"user","content":"用一句话介绍你自己"}],"max_tokens":128,"temperature":0.7}'
判定标准如下:
choices[0].message.content非空,表示推理正常。model字段与服务配置不一致。安全上,建议只在安全组中放行可信IP,公网访问应经过带HTTPS的反向代理,不要直接暴露8000端口。
训练数据使用JSONL格式,每行一条样本,常用字段为instruction、input和output。示例如下:
{"instruction":"你是古风剑客林照,性格冷峻,说话简短。","input":"你为什么一直不说话?","output":"话多误事。你若想问剑,便出招。"}
数据入库前做三项检查:每行都能被JSON解析;output不为空;重复样本已去重。然后按95%训练集、5%验证集切分。角色设定应在多条样本中保持一致,语气和用词要有区分度,否则模型难以学到稳定的角色特征。
以下是小参数模型LoRA微调的常用起点,可根据验证集表现调整:
| 参数 | 建议值 | 说明 |
|---|---|---|
| 学习率 | 1e-4至2e-4 | LoRA常用区间 |
| 训练轮数 | 2至3 | 轮数过多容易过拟合 |
| per_device_train_batch_size | 1至2 | 受显存限制 |
| gradient_accumulation_steps | 8至16 | 放大有效批次 |
| 最大序列长度 | 1024至2048 | 越长越占显存 |
| LoRA rank | 8至16 | 数值越大参数越多 |
| 精度 | bf16 | 开启gradient checkpointing以节省显存 |
有效批次等于单卡批次乘以梯度累积步数再乘以GPU数量。训练时观察控制台输出的loss。正常情况下loss先下降后趋于平稳。如果loss出现NaN或剧烈震荡,应先降低学习率,并确认使用bf16而不是fp16。
训练结束后,LoRA权重有两种用法。一是把adapter与基座模型合并,导出完整模型用于独立部署。二是保留adapter,在推理时加载。vLLM加载adapter需要添加--enable-lora参数,并通过--lora-modules注册名称和路径。
准备至少10条角色扮演测试提示词,检查回答是否符合设定的身份、语气和背景。同时准备20条通用问题,例如常识、算术和改写任务,与微调前的基座模型逐条对比。角色表现提升而通用问题明显变差,说明训练过度或学习率偏高。
训练和推理期间,可用下面的命令观察显存与利用率:
watch -n 2 nvidia-smi
--max-model-len,降低--gpu-memory-utilization,减小批次大小,或开启gradient checkpointing。pip show torch vllm transformers查看版本,对照vLLM官方文档调整。依赖混乱时,新建虚拟环境重新安装比逐个修补更快。ss -lntp | grep 8000查看占用进程,换用其他端口或停止旧进程。建议设置以下监控告警:
推理日志建议记录request_id、latency_ms、prompt_tokens、completion_tokens和status字段,便于回溯异常请求。模型版本可按模型名/日期-数据集哈希的目录组织,并在目录中保存超参数记录,方便追溯和回滚。