重训右臂:用 state dropout 真正断开捷径

state6 那一版实机 0/2。今天把它拆开量了一遍,结论是两件互相独立的事:一个推理端的 bug(已修),和一个训练问题(必须重训)。这一页是重训的完整操作手册 —— 每一步该跑什么、看到什么算通过、什么情况下要停下来别继续烧租金。

一、今天量到了什么

1. 推理端:state 通道被放大 1e8 倍(已修)

数据集 xlerobot-right-pick-cup-20260826-0042 的 16487 帧里左臂 6 维全是 0,于是 checkpoint 的归一化统计量是 mean=0, std=0。而 lerobot 的归一化没有对 std==0 做任何保护:

# lerobot/processor/normalize_processor.py:359
denom = std + self.eps          # eps = 1e-8
return (tensor - mean) / denom

训练时 (0-0)/1e-8 = 0,干净。真机上左臂是连着的,喂进去的是真实角度 —— 那 6 维被放大 1e8 倍。实测同一张图、同一右臂状态下:

左臂偏 0.1 度,右臂输出变 64 度;而 0.1° / 5° / 几十度结果几乎一样 —— token 已经饱和,模型退化成输出一个跟本体姿态无关的固定姿势。

修完用同一个 checkpoint、同样参数重跑 2 次:

抖动两次都对半砍,闭爪时机从「一伸手就夹」推到「先够一段再夹」—— 顺序对了。但仍 0/2。

2. 训练侧:视觉增益只有需要量的 9%

控制变量(所有集共用同一个 state,只换图像),沿够取过程测三个点:

方向感随靠近变好(r 从 -0.31 升到 +0.61),但幅度始终是需要量的约 4%(示范里斜率应接近 +1)。

再换四种 state 喂法,看能不能救回来:

还量了 state 和图像谁说了算(固定其一、只变另一个):

A 只换图像 (state 固定)   输出 pan 跨度   6.19°   与杯位 r = -0.405
B 只换 state (图像固定)   输出 pan 跨度  11.08°   与杯位 r = +0.090
                          state 摆动 / 图像摆动 = 1.8x

state 对输出的影响比图像大 1.8 倍,而且跟杯位不相关(r=0.09,是噪声)。这就是 causal confusion 的标准长相:模型在复读示范的平均轨迹,起始姿态抖一点复读轨迹就跟着抖,而杯子在哪它基本没看。

二、为什么用 state dropout,不用 input_features 那个技巧

机制

示范轨迹光滑,「这一帧的关节角」几乎能直接推出「下一帧该转到哪」。于是模型走捷径:读上一帧关节角往同方向再挪一点,比看图找杯子算该往哪转省事得多。梯度下降当然选前者 —— 结果是训练 loss 很低、真机上抓不到东西。数据越少越严重(我们只有 40 集)。

做法:训练时以概率 p 把 state 那一路输入整条置零(归一化之后置零 = 喂训练均值 = 中性值),逐样本,同一批里有的看得到有的看不到:

三、六步操作手册

hf auth login          # 粘贴 write token
cat ~/.cache/huggingface/lerobot/xlerobot-team/xlerobot-right-pick-cup-20260826-0042/meta/upload.json

pip install -U "lerobot[dataset,training,smolvla]" huggingface_hub
hf auth login && hf auth whoami     # 确认能读数据集 + 能写模型仓库
tmux new -s train                    # ★ 断线不杀训练 ★

05-training/state_dropout.py                 # 机制 + 退火 + 自检
05-training/train_state_dropout.py           # 装补丁再交棒给 lerobot-train
05-training/train_smolvla_state_dropout.sh   # 配方,对齐 state6

python -c "import torch,torchcodec;print(torch.__version__, torchcodec.__version__)"
ffmpeg -decoders | grep -Ei "cuvid|nvdec"     # 要看到 av1_cuvid
BENCH=1 SD_DEBUG=1 ./train_smolvla_state_dropout.sh

./train_smolvla_state_dropout.sh
# 想调档:  SD_P_END=0.3 SD_VISION_FRAC=0.4 ./train_smolvla_state_dropout.sh

# Jetson 上
python 03-software/scripts/vision_sweep_phase.py \
  05-training/<新模型>/checkpoints/020000/pretrained_model \
  ~/.cache/huggingface/lerobot/xlerobot-team/xlerobot-right-pick-cup-20260826-0042 \
  "Pick up the cup with the right arm." right 12

四、顺带加的开关

--exec-horizon(run_policy_trials.py:1015):覆盖 n_action_steps,控制执行几步就重新看画面。这个 checkpoint 是 50 步 @30 Hz = 1.67 秒开环,今天两次实机的重规划间隔都是这个数。

结果文件记 exec_horizon + exec_horizon_default,不同视野单独分组统计(trials_io.py:330)—— 那是两个不同的闭环系统,成功率不能混在一起算。老记录不会被拆组。