在百舸上使用 lingbot-va 加速镜像训练视觉-动作(VA)模型
概述
LingBot-VLA 2.0 是视觉-语言-动作(VLA)模型(lingbot-vla-v2-6b),采用 36 层 decoder 的 token-MoE 结构(32 个专家、每 token 选 4 个),支持机器人操作任务(如 RoboTwin 2.0)的训练。本加速镜像针对 RTX Pro 6000(Pro6k,单卡 98 GB)芯片做训练加速,已内置优化后的训练代码、容器启动脚本与最优配置启动器,支持单机多卡与多机扩展训练。
加速核心是针对训练主路径(FSDP2/Muon 通信、视觉塔缓存、MoE 计算等)的 12 项优化,已作为镜像默认 ENV 内置,开箱即用:单机加速 1.89×(−47.0% 步时),双机加速 2.10×(−52.5% 步时),双机扩展效率约 100%(近线性)。
平台同时交付 baseline(零优化对照)镜像:与优化镜像同一套接口、同一套挂载契约、同一组通信参数,唯一差别是不含任何优化,用于 A/B 对照,差值可直接相减。
本示例以 RoboTwin 2.0 数据集为例,介绍在百舸平台上完成训练全流程:数据集准备与转换 → 权重准备 → 启动单机/多机训练 → 保存与断点续训。
适用场景
- 在百舸平台训练 LingBot-VLA 2.0 视觉-语言-动作(VLA)模型,用于机器人操作任务(RoboTwin 2.0 等)
- 需要单机多卡训练(8 卡)、或多机扩展训练(2×8 卡)以获得更高吞吐的场景
- 需要与官方实现做 A/B 性能对照、或精确复现基线数字的客户
- 需要断点续训、性能参考与常见问题指引的客户
环境与资源要求
| 项 | 内容 |
|---|---|
| 适配芯片 | 支持规格:aihc.lgn7ib |
| 代码目录 | 已内嵌于镜像 /root/workspace/code(/workspace 为兼容软链) |
| 运行时环境 | conda base 环境,开箱即用 |
| 数据集 | RoboTwin 2.0(外网 HuggingFace 或内网 BOS bos://aihc-rdw-bj/huggingface.co/datasets/TianxingChen/RoboTwin2.0/dataset/,原始 hdf5 zip,训练前必须转换,见「数据转换」) |
| 模型权重 | lingbot-vla-v2-6b(外网 HuggingFace 或内网 BOS bos://aihc-models-bj/robbyant/lingbot-vla-v2-6b/);另需 tokenizer(Qwen3-VL-4B-Instruct)与 moe 视觉编码器(moge-2-vitb-normal),见「准备数据集与权重」 |
| 磁盘要求 | 数据转换产物约 183 GB;训练时 LeRobot arrow cache 约 189 GB,默认落 /dev/shm(建议宿主 shm ≥ 200 GB,不足时用 HF_DATASETS_CACHE 指到大盘,实测步时影响 < 1%) |
注意:镜像不含数据与权重,均需自行准备;下文
/mnt/pfs/...仅为示例落点,实际路径可自行决定。
在百舸平台准备训练环境
- 登录百舸平台,创建或进入开发机,选择 RTX Pro 6000 资源规格与上述加速镜像(优化版)
- 准备 PFS 下的数据与模型根目录(
MODELS_ROOT/DATA_ROOT),按「准备数据集与权重」与「数据转换」拉取并转换数据 - 进入容器内工作区,使用「启动训练」中的命令启动训练
准备数据集与权重
数据集(RoboTwin 2.0)
数据集为 RoboTwin 2.0,原厂布局是每个 task 一个 <task>/aloha-agilex_randomized_500.zip(hdf5 格式,500 集/task)。本示例使用 assets/training_data/robotwin_baseline.txt 指定的 5 个 RoboTwin 子集,共 2,500 episodes、372,768 frames。
外网:直接从 HuggingFace 下载数据集目录。
内网(示例,落点可自行决定):
1DATASET_BOS_SRC="bos://aihc-rdw-bj/huggingface.co/datasets/TianxingChen/RoboTwin2.0/dataset/"
2RAW_ROBOTWIN_PATH="/mnt/pfs/datasets/robotwin_raw"
3mkdir -p "$RAW_ROBOTWIN_PATH"
4bcecmd bos cp "$DATASET_BOS_SRC" "$RAW_ROBOTWIN_PATH" --recursive --yes --disable-bar
权重(lingbot-vla-v2-6b)
权重包含三部分,都需在训练前就位:
| 物料 | 说明 | 外网来源 | 内网 BOS |
|---|---|---|---|
主权重 lingbot-vla-v2-6b(含 depth/、dino_video/,即 MoE 根主权重) |
约 6B 参数 | robbyant/lingbot-vla-v2-6b | bos://aihc-models-bj/robbyant/lingbot-vla-v2-6b/ |
| tokenizer | Qwen3-VL-4B-Instruct | Qwen/Qwen3-VL-4B-Instruct | bos://aihc-models-bj/Qwen/Qwen3-VL-4B-Instruct/ |
| moe 视觉编码器 | moge-2-vitb-normal(注意 moge R 大写) |
— | bos://aihc-models-bj/Ruicheng/moge-2-vitb-normal/ |
1PYTORCH_WEIGHT_PATH="/mnt/pfs/models/lingbot-vla-v2-6b"
2mkdir -p "$PYTORCH_WEIGHT_PATH"
3# 内网示例:主权重
4bcecmd bos cp "bos://aihc-models-bj/robbyant/lingbot-vla-v2-6b/" "$PYTORCH_WEIGHT_PATH/" --recursive --yes --disable-bar
权重/数据落点与容器内路径的映射关系见「启动训练 · 挂载说明」:
MODELS_ROOT挂到容器工作区models_root,DATA_ROOT按同名路径挂入容器(LeRobot 要求数据集绝对路径在容器内也存在)。
数据转换(必需)
原始 zip 是 RoboTwin hdf5 格式,镜像内的 LeRobot 只认 v3.0,因此必须做转换。转换链路(与 RoboTwin 官方 policy/pi0 一致,已逐位复现:action/state 与交付数据 500/500 episode 完全一致):
1# 每个 task 一次,zip 布局:<task>/aloha-agilex_randomized_500.zip
2mkdir -p RoboTwin/data/<task>
3unzip <task>/aloha-agilex_randomized_500.zip -d RoboTwin/data/<task>/
4
5cd RoboTwin/policy/pi0
6# 输出 processed_data/<task>-aloha-agilex_randomized_500-1000/。
7# zip 只有 500 集,NUM=1000 是对齐目录名;i=500 报 FileNotFoundError 是预期,按 episode 目录数(500)判定
8bash process_data_pi0.sh <task> aloha-agilex_randomized_500 1000
9
10# LeRobot v2.1(image 模式,帧内嵌 parquet,fps 50)
11# 依赖 tyro 与 LeRobot v2.1 源码树(PYTHONPATH);输出由 HF_LEROBOT_HOME 指定
12PYTHONPATH=<lerobot v2.1 树>:<tyro 安装目录> \
13HF_LEROBOT_HOME=<数据输出根> \
14python3 examples/aloha_real/convert_aloha_data_to_lerobot_robotwin.py \
15 --raw_dir processed_data/<task>-aloha-agilex_randomized_500-1000 \
16 --repo_id <task>-aloha-agilex_randomized_500-1000
17
18# v2.1 -> v3.0(lerobot 0.4.2 自带;产物原地替换,v2.1 挪到 <repo_id>_old)
19python3 -m lerobot.datasets.v30.convert_dataset_v21_to_v30 \
20 --repo-id <task>-aloha-agilex_randomized_500-1000 --root <数据输出根> --push-to-hub false
转换耗时与产物:单个 task 约 45 min(generate 一步占九成),5 个 task 并行约 1 h,产物约 183 GB(fps 50、帧内嵌 parquet;目录名即 <task>-aloha-agilex_randomized_500-1000,与 robotwin_baseline.txt 对应)。
注意事项:
- task 文本每 episode 从候选指令里随机抽取(上游无 seed),重复转换文本不同;action/state 不受影响。
- 新版 lerobot 写 v3.0 时每个 feature 会多一个
fps: 50元数据键,无害。
参数说明
以下为训练关键参数(对外文档一般需要调整的参数)。
max_steps、save_steps、save_epochs等见「启动训练」的 CLI 说明。
| 类别 | 参数 | 值 | 说明 |
|---|---|---|---|
| 批量/并行 | micro_batch_size |
48 | 每 GPU、每 micro-step 样本数(显存允许时保持 48;长稳档可用 24) |
global_batch_size |
768(单机 8 卡:384) | 48 × 16 × 1;程序会对 GBS 做校验,与分布式规模匹配 |
|
gradient_accumulation_steps |
1 | 显存足够,不拆分 | |
data_parallel_mode |
fsdp2 |
非 DDP,无 bucket_cap_mb 等概念 |
|
enable_full_shard |
false |
传给 reshard_after_forward:forward 后不 reshard(优化项之一) |
|
module_fsdp_enable / vlm_fsdp |
true |
逐模块包装 FSDP;VLM 的 36 层 decoder 各自成为 unit | |
ulysses_parallel_size |
1 | 不启用序列并行 | |
| 优化器/精度 | optimizer |
muon |
DistributedMuon,按 shape group 执行 AllGather 和 Newton–Schulz |
lr / lr_decay_style |
1.0e-4 / constant |
无 warmup、无 decay | |
weight_decay / max_grad_norm |
0 / 1.0 | 默认值 | |
enable_fp32 |
true |
保留 FP32 权重主副本 | |
use_compile |
true |
torch.compile 全图,warmup 约 30 秒 |
|
attention_implementation |
flex_cached |
FlexAttention + block mask 缓存 | |
enable_gradient_checkpointing |
true |
激活重计算,以 micro batch 48 打满显存 | |
| MoE | use_moe / moe_implementation |
true / fused |
36 层全部使用 token-MoE |
token_num_experts / token_top_k |
32 / 4 | 32 个专家,每个 token 选择 4 个 | |
token_moe_intermediate_size |
512 | 共享专家中间维度为 704 | |
use_moe_expert_lr |
true |
专家使用独立 LR | |
sequence_wise_loss_coeff / router_z_loss_coeff |
1e-3 / 1e-4 |
负载均衡辅助损失 / Router Z-loss 系数 | |
| 数据 | train_path |
assets/training_data/robotwin_baseline.txt |
RoboTwin 5 个子集,共 2,500 episodes、372,768 frames |
num_workers / prefetch_factor |
8 / 4 | 缓冲 8 × 4 = 32 batches | |
cameras |
3 | camera_top / wrist_left / wrist_right |
|
tokenizer_max_length / action_dim |
72 / 55 | tokenizer 最大长度 / 动作维度(max_state_dim 同为 55) |
优化配置接口
优化项已作为镜像 ENV 内置,默认即最优值,直接使用 run_best.sh 启动即可,无需手工设置任何开关。12 项优化按分组如下(环境变量名均为 LINGBOT_*):
Approach A 三件套(FSDP 分片语义)
| 配置 | 说明 |
|---|---|
LINGBOT_KEEP_RESHARD_AFTER_BACKWARD=0 |
后向计算后不保留 reshard(配合后两项实现分阶段 reshard) |
LINGBOT_MANUAL_STEP_RESHARD=1 |
手动控制 optimizer step 时的 reshard 时机 |
LINGBOT_CAPTURE_INNER_FSDP=1 |
捕获内层 FSDP 单元,减少重复通信 |
⚠️ 三项必须成组使用,不能只翻其中一项:只关 RAF 会让
clip_grad_norm_的视图漏参数(GradNorm 0.54 vs 0.93),破坏数值正确性。
Muon 优化器通信四件套
| 配置 | 说明 |
|---|---|
LINGBOT_MUON_PIPELINE_DEPTH=2 |
AllGather / Newton–Schulz 双缓冲深度(深度 3 仅再省 1.7% 但多占 1.4 GiB,2 为实测最优) |
LINGBOT_MUON_CHUNK_ORDER=bytes_desc |
chunk 级按字节降序,均衡通信流量 |
LINGBOT_MUON_AG_BYTE_CAP=700000000 |
通信包按线上字节封顶切分(有极值点,400M 会反弹) |
LINGBOT_MUON_AG_DTYPE=bf16 |
Muon AllGather 线上降 bf16(Newton–Schulz 首行即 cast,可证 bitwise) |
FSDP2 通信与视觉塔缓存
| 配置 | 说明 |
|---|---|
LINGBOT_FSDP2_PREFETCH=2 |
forward 阶段 FSDP2 AllGather 预取深度加深(2 为实测最优;需带 depth 参数的代码树) |
LINGBOT_FSDP2_REDUCE_DTYPE=bf16 |
FSDP2 backward ReduceScatter 线上降 bf16,最大单项优化 |
LINGBOT_VISUAL_ROTPOS_CACHE=1 |
视觉塔 rotary 位置编码 + 变长 attn 元数据跨步缓存 |
LINGBOT_VISUAL_POSEMB_CACHE=1 |
视觉塔绝对位置编码插值的结构量跨步缓存 |
LINGBOT_MUON_NS_SHARD=1 |
Muon Newton–Schulz 迭代按块指定单一 owner 计算(1 = 一轮;R>1 目前只加级数不加重叠,别调大) |
关闭/覆盖语义(重要)
- 生效优先级:容器内 export >
docker run -e> 镜像 ENV。因此不要在启动命令里用-e重复设置这些开关——会把值钉死,换新镜像时静默盖掉新的默认值。要关掉某一项,使用EXTRA_ENV="-e LINGBOT_MUON_NS_SHARD=0"(经run_docker.sh透传)。 - baseline 对照:baseline 镜像 +
run_base.sh(容器内脚本)会把所有开关钉在关闭值,并在起训前逐项自检(体检表会打进日志);「baseline + 只开单项」用BASE_OPEN="LINGBOT_X=值"+BASE_ALLOW_DIRTY=1,该趟日志会自证「不是纯 baseline」。 - 判定一趟是否是干净 baseline:只看
run_base.sh打印的体检表,不看镜像名(run_best.sh在 baseline 镜像里跑会把优化全部开回来,日志上却看不出来——请勿混用)。
启动训练
容器内启动器 run_best.sh
镜像内训练启动器:/root/workspace/scripts/run_best.sh(交付镜像该路径可直接使用;也兼容 /workspace/scripts/ 写法)。用法(位置参数一律 key=value,会翻成 --train.* CLI 覆写;键名写错会直接报错,防止静默忽略):
1# 基础用法:40 步训练、每 20 步落一份 ckpt
2bash /root/workspace/scripts/run_best.sh \
3 output_dir=/root/workspace/output/sft_run1 \
4 max_steps=40 \
5 save_steps=20
关键位置参数:
| 参数 | 映射 | 说明 |
|---|---|---|
output_dir= |
--train.output_dir= |
落点(ckpt / 日志 / TB event 都在其下) |
max_steps= |
--train.max_steps= |
⚠️ 全局步号的终点,不是「再跑多少步」 |
save_steps= / save_epochs= |
--train.save_steps/epochs= |
每多少步/epoch 落一份 ckpt(yaml 默认 999999 = 不落) |
resume_dir= |
--train.load_checkpoint_path= |
断点续训,要给到 global_step_N 那一层 |
save_hf_weights= |
--train.save_hf_weights= |
续训只用 DCP 时设 false,省几分钟和十几 GB |
num_train_epochs= / seed= |
同名列 | 注意:给了 max_steps 时脚本会自动把 num_train_epochs 钉成 1(保持与已验证短跑的 LR 曲线一致) |
环境变量:NNODES / NODE_RANK / MASTER_ADDR / MASTER_PORT / NPROC_PER_NODE(不填时自动吃百舸平台注入的 WORLD_SIZE/RANK,并翻译成节点语义,随后抹掉以免泄漏给 torchrun 子进程);STEPS(=max_steps)、SAVE=0(中途不落 ckpt)、DRYRUN=1(只打印拼好的 torchrun 命令,不起训)、LOG_DIR、EXTRA_ARGS、OMP_NUM_THREADS 等。
百舸平台对 PyTorch 类任务自动注入
MASTER_ADDR/MASTER_PORT/NPROC_PER_NODE(与我们同名,直接生效);WORLD_SIZE=节点总数、RANK=节点序号。因此平台侧一行命令即可起多机,无需手填拓扑。
单机训练(8 卡 · GBS=384)
1bash /root/workspace/scripts/run_best.sh output_dir=/root/workspace/output/sft_1n_ep3
多机训练(2×8 卡 · GBS=768)
百舸平台:两节点各执行一次同一命令,拓扑全部走平台注入,无需手填:
1# node0 与 node1 各执行一次(输出目录建议按节点区分或共用共享盘)
2bash /root/workspace/scripts/run_best.sh output_dir=/root/workspace/output/sft_2n_ep3
如需手填(非平台场景):
1# node0
2MASTER_ADDR=<任务名称>-master-0 MASTER_PORT=23456 NPROC_PER_NODE=8 WORLD_SIZE=2 RANK=0 \
3 bash /root/workspace/scripts/run_best.sh output_dir=/root/workspace/output/sft_2n_ep3
4# node1(同一条,只改 RANK)
5MASTER_ADDR=<任务名称>-master-0 MASTER_PORT=23456 NPROC_PER_NODE=8 WORLD_SIZE=2 RANK=1 \
6 bash /root/workspace/scripts/run_best.sh output_dir=/root/workspace/output/sft_2n_ep3
挂载说明
MODELS_ROOT挂到容器工作区<工作区>/models_root(配置文件中有 357 处models_root相对引用);DATA_ROOT必须按同名路径挂进容器(LeRobot 要求数据集绝对路径在容器内也存在,换路径会在 dataset 初始化时直接找不到);- 非必填项给默认空值即可:
CODE_DIR/SCRIPTS_DIR默认用镜像里烧好的代码/脚本树;容器内工作区根为/root/workspace(/workspace为兼容软链),挂载目标必须与镜像一致,否则 docker 会新建空目录、静默使用镜像内烧好的一份。
baseline 对照训练
baseline 镜像 + 容器启动脚本 rundocker/run_docker.sh(默认 IMAGE_NAME 即 baseline 交付 tag)→ 调容器内 run_base.sh,所有优化开关钉在关闭值:
1MODELS_ROOT=/your/models DATA_ROOT=/your/data OUT_DIR=/your/output \
2 BASE_ARGS="output_dir=/root/workspace/output/base_1n_ep3" \
3 bash rundocker/run_docker.sh
短跑复现基线:BASE_ARGS="output_dir=... " BASE_ENVS="STEPS=70 SAVE=0" bash rundocker/run_docker.sh(70 步覆盖 p50[20,60] 统计口径)。A/B 时容易犯的错:拿 run_docker.sh(baseline 版)起 best 镜像、或拿 best 版脚本起 baseline 镜像——前者会把优化全开回来且日志看不出来,后者拿 run_best.sh 挂进 best 镜像也照样是干净 baseline(体检表为准)。
性能参考
交付实测(8× RTX Pro 6000,MBS=48)
| 配置 | StepTime | Samples/s | 扩展比 |
|---|---|---|---|
| baseline 单机(GBS=384,DP=8) | 8.9303 s | 43.00 | — |
| baseline 双机(GBS=768,DP=16) | 9.7896 s | 78.45 | 91.21% |
| 优化版单机(GBS=384,DP=8) | 4.7309 s(−47.02%) | 81.17(+88.77%) | — |
| 优化版双机(GBS=768,DP=16) | 4.6483 s(−52.52%) | 165.22(+110.61%) | 约 100%(近线性扩展) |
优化版单机 GPU 利用率:SMs Active 73.6%,Tensor Active 29.8%。
准出实测(8 卡 × 1/2 机)
| 项 | 实测 | 参考 / 阈值 |
|---|---|---|
| 单机训练(BS32 / GA2 / GBS384,60 步) | 4.81 s/步 · 79.83 samples/s | 80.24(差 0.51%) |
| 双机扩展(2×8,GBS768) | 扩展比 0.9409 | ≥ 0.9 |
| 长稳(MBS24 / GBS192,1000 步) | 中位 3.64 s/步,末步 loss 0.0349,1000 步跑满 | 步数 ≥ 1000 |
| 续训(run1 20 步 → run2 40 步) | 续训首步 Step 21(= 断点末步 20 + 1) | 首步 = 末步 + 1 |
以上数据为特定测试环境下的参考值。步时口径为稳态区间中位数(或交付口径的稳态均值),实际性能会受资源规格、数据读取方式、网络环境、任务参数等因素影响。
保存与断点续训
Checkpoint 写入 <output_dir>/checkpoints,训练时按 save_steps(或 save_epochs)落盘,ckpt 管理器为 DCP:
1# 保存训练结果:40 步训练、每 20 步落一份 ckpt
2bash /root/workspace/scripts/run_best.sh \
3 output_dir=/root/workspace/output/sft_run1 \
4 max_steps=40 \
5 save_steps=20
6
7# 续训:接续 sft_run1 的第 20 步断点,另起输出目录
8bash /root/workspace/scripts/run_best.sh \
9 output_dir=/root/workspace/output/sft_run2 \
10 max_steps=40 \
11 resume_dir=/root/workspace/output/sft_run1/checkpoints/global_step_20
要点:resume_dir 必须给到 global_step_N 那一层;max_steps 是全局步号终点,不是「再跑多少步」;续训场景建议 save_hf_weights=false(只用 DCP)省时省盘。
常见问题
镜像里带了数据和权重吗?
没有。镜像不含数据与权重,需按「准备数据集与权重」「数据转换」自行准备;不过数据集为 RoboTwin 2.0 原始 zip,需先转成 LeRobot v3.0。
为什么必须做数据转换?
镜像内的 LeRobot 只认 v3.0 格式,原始 RoboTwin zip 是 hdf5。转换链路见「数据转换」,约 45 min/task、5 task 并行约 1 h、产物约 183 GB。
/dev/shm 要多大?
训练时 LeRobot 会把 parquet 全量物化为 arrow cache(约 189 GB),默认落 /dev/shm(RAM-backed,比 overlayfs 快且可跨运行复用)。宿主 shm 建议 ≥ 200 GB;不足时用 HF_DATASETS_CACHE 指到大盘(实测步时影响 < 1%)。
想要「baseline + 只开一个优化」的单变量对照怎么做?
唯一入口是 run_base.sh 的 BASE_OPEN="LINGBOT_X=值" + BASE_ALLOW_DIRTY=1(它会在 export 之后生效,体检表会报脏并打大字警告,自证不是纯 baseline;用 -e 在这里打不开任何东西)。
双机训练能开 nsys 吗?
不能。--train.enable_nsys_range 在 2n 下必须为 false(NSYS=0),2n 使用 NSYS 会在通信初始化阶段挂死。逐步性能日志(StepTime / Depth_Forward_Time)由 enable_perf_ranges=true 控制,与 nsys 无关,恒打。
重复转换数据,文本会不一样吗?
task 文本每 episode 从候选指令里随机抽取(上游无 seed),重复转换文本不同;action/state 不受影响,不影响训练数值。
max_steps 和「再跑多少步」是一回事吗?
不是。max_steps 是全局步号的终点;续训起首步为「断点末步 + 1」。另外给了 max_steps 后脚本会把 num_train_epochs 钉成 1,保持 LR 曲线与已验证短跑一致。
参考
- RoboTwin 2.0 数据集:TianxingChen/RoboTwin2.0
- LingBot-VLA 2.0 权重:robbyant/lingbot-vla-v2-6b
- Tokenizer 基座 Qwen3-VL:Qwen/Qwen3-VL-4B-Instruct
评价此篇文章
