右臂重训手册：0826 + sep8 补录

ps -C claude ; pgrep -af run_policy_trials      # 各只应有一行（你自己）
df -h /                                         # 根分区 116 GB，满盘会让整个会话失效

cat ~/.cache/huggingface/lerobot/xlerobot-team/xlerobot-right-pick-cup-0826sep8-full-20260910/meta/upload.json
# 或者直接问 Hub：
~/miniconda3/envs/lerobot/bin/python -c "from huggingface_hub import HfApi;print(HfApi().dataset_info('xlerobot-team/xlerobot-right-pick-cup-0826sep8-full-20260910').lastModified)"

pip install -U "lerobot[dataset,training,smolvla]" huggingface_hub
pip uninstall -y torchcodec && pip install "torchcodec==0.7.0"   # 默认装出 0.11.1，和 torch 2.8 不兼容
python -c "import torch,torchcodec;print(torch.__version__, torchcodec.__version__)"
ffmpeg -decoders | grep -Ei "cuvid|nvdec"
hf auth login && hf auth whoami          # 粘贴 write token；要能读 xlerobot-team 数据集、能写 Suyang99 模型仓库
tmux new -s train-right                    # ★ 不是可选项 ★

cd /workspace
git clone -b china-console https://<用户名>:<PAT>@github.com/ginagina19992023/Robotic_challenge.git
cd Robotic_challenge/05-training

scp -P <pod-ssh-port> \
  ~/Robotic_challenge/05-training/state_dropout.py \
  ~/Robotic_challenge/05-training/train_state_dropout.py \
  ~/Robotic_challenge/05-training/train_smolvla_state_dropout.sh \
  root@<pod-ip>:/workspace/

cd /workspace/Robotic_challenge/05-training   # 或 cd /workspace（B 路线）
chmod +x train_smolvla_state_dropout.sh
python state_dropout.py

export REPO_ID=xlerobot-team/xlerobot-right-pick-cup-0826sep8-full-20260910
export TAG=right-0826sep8

DRY=1 ./train_smolvla_state_dropout.sh
BENCH=1 SD_DEBUG=1 SD_DEBUG_EVERY=5 ./train_smolvla_state_dropout.sh

REPO_ID=xlerobot-team/xlerobot-right-pick-cup-0826sep8-full-20260910 \
TAG=right-0826sep8 \
./train_smolvla_state_dropout.sh

python train_state_dropout.py \
  --dataset.repo_id=xlerobot-team/xlerobot-right-pick-cup-0826sep8-full-20260910 \
  --dataset.video_backend=torchcodec \
  --dataset.eval_split=0.0 \
  --dataset.image_transforms.enable=true --dataset.image_transforms.max_num_transforms=5 \
  --policy.path=lerobot/smolvla_base \
  --policy.repo_id=Suyang99/xlerobot-smolvla-right-0826sep8-p0.2-b16-u20000 \
  --policy.push_to_hub=false \
  --policy.device=cuda \
  --policy.input_features=null --policy.output_features=null \
  --policy.optimizer_lr=1e-4 \
  --policy.scheduler_decay_steps=20000 --policy.scheduler_warmup_steps=1000 \
  --batch_size=16 --num_workers=8 --prefetch_factor=2 \
  --steps=20000 --save_freq=2000 --log_freq=100 --seed=1000 \
  --wandb.enable=false \
  --output_dir=/workspace/outputs/train/smolvla_right-0826sep8_b16_u20000 \
  --job_name=smolvla_right-0826sep8_b16_u20000
# 环境变量：SD_ENABLE=1 SD_VISION_FRAC=0.3 SD_ANNEAL_FRAC=0.4 SD_P_END=0.2
# 日志 tee 到 /workspace/smolvla_right-0826sep8_b16_u20000.log

JOB=smolvla_right-0826sep8_b16_u20000
REPO=Suyang99/xlerobot-smolvla-right-0826sep8-p0.2-b16-u20000

# VERIFY：看到 020000 且 last -> 020000 才算完成，目录名不算数
ls -lah /workspace/outputs/train/$JOB/checkpoints
ls /workspace/outputs/train/$JOB/checkpoints/020000        # 要有 pretrained_model 和 training_state
cat /workspace/outputs/train/$JOB/checkpoints/020000/training_state/training_step.json

# UPLOAD：整个 020000 连 training_state/ 一起传，外加日志（面板 loss 曲线要用）
hf repo create $REPO --repo-type model --private --exist-ok
hf upload $REPO /workspace/outputs/train/$JOB/checkpoints/020000 checkpoints/020000 --repo-type model
hf upload $REPO /workspace/$JOB.log $JOB.log --repo-type model
# 多留一两档（012000 / 016000），实机表现不单调，上一轮 012000 也上过机器
hf upload $REPO /workspace/outputs/train/$JOB/checkpoints/012000 checkpoints/012000 --repo-type model

# VERIFY：在 Hub 上数文件
python -c "from huggingface_hub import HfApi;print(len(HfApi().list_repo_files('$REPO')))"

df -h /                        # 一档存档约 600 MB（pretrained 约 200 + training_state 约 400）
cd ~/Robotic_challenge
hf download Suyang99/xlerobot-smolvla-right-0826sep8-p0.2-b16-u20000 \
  --include "checkpoints/020000/*" \
  --local-dir 05-training/xlerobot-smolvla-right-0826sep8-p0.2-b16-u20000
ls 05-training/xlerobot-smolvla-right-0826sep8-p0.2-b16-u20000/checkpoints/020000

cd ~/Robotic_challenge/03-software/scripts
CK=~/Robotic_challenge/05-training/xlerobot-smolvla-right-0826sep8-p0.2-b16-u20000/checkpoints/020000/pretrained_model
DS=~/.cache/huggingface/lerobot/xlerobot-team/xlerobot-right-pick-cup-0826sep8-full-20260910

# ① 模型能不能加载、跑在 GPU 上、恒定维有没有被钉住 —— 不连机器人
~/miniconda3/envs/train310/bin/python run_policy_trials.py --dry --model $CK

# ② 头部预设和数据集录制时的头部姿态是不是同一个 —— 不连机器人
~/miniconda3/envs/lerobot/bin/python ../brain/check_head_pose.py

# ③ 横向增益参考值（不是门禁）：从够取过程 70% 处起手，整条计划的末端 pan 对杯位回归
~/miniconda3/envs/train310/bin/python chunk_sweep.py $CK $DS "Pick up the cup with the right arm." right 12 50 0.70

# a. 再确认没有第二份模型在跑
pgrep -af run_policy_trials

# b. 对头到标准视角，然后【看图】：浏览器开 http://<jetson>:8770/cams
python3 head_aim.py --preset cup-grasp-v0        # 自动切到 lerobot 环境；等价于面板「预设 → cup-grasp-v0」
python3 head_aim.py --read                       # 应回 pan≈2003 / tilt≈2617（2619 被限位钳到 2617）

# c. 跑
cd ~/Robotic_challenge/03-software/scripts
~/miniconda3/envs/train310/bin/python run_policy_trials.py \
  --panel --send --trials 8 --seconds 60 \
  --chunk-rate 1 --keep-torque --speed 1.0 --trace \
  --model ~/Robotic_challenge/05-training/xlerobot-smolvla-right-0826sep8-p0.2-b16-u20000/checkpoints/020000/pretrained_model

# d. 从终端起的进程，面板按钮会回 409；直接写控制文件，进程照读
printf '{"cmd":"start","ts":%d}\n' $(date +%s) > ~/Robotic_challenge/05-training/trials/.control.json.tmp \
  && mv ~/Robotic_challenge/05-training/trials/.control.json.tmp ~/Robotic_challenge/05-training/trials/.control.json
# cmd 取值：confirm | start | s（成功）| f（失败）| abort

# e. 跑完算闭爪时机（主判据）
~/miniconda3/envs/train310/bin/python trace_timing.py            # 最近 6 个 trace，在 05-training/trials/traces/

这一步以前只写了「按 s / f」，2026-09-11 实跑时发现漏了两件事，这里补全。

① 判定必须先发，否则什么都做不了。脚本停在「How did this trial go?」时一直握着两条串口总线， open_gripper.py、arm_home.py 全都连不上（bus_guard 会直接拒绝）。控制命令只有六个： confirm（急停确认门）· start（开始这一次）· s 成功 / f 失败 / x 作废（摆放或操作失误，不进分母）· abort（提前终止并保存）。 没有「松爪」这一条，所以要松爪就必须先让这一轮走完或 abort。

# 面板认得这个进程时用 API（推荐：有 ok / 错误回执）
T=$(cat ~/.robot_server_password)
curl -s -X POST "http://127.0.0.1:8770/api/trials/control?token=$T" \
     -H 'Content-Type: application/json' -d '{"cmd":"s"}'       # s=成功 f=失败

# 面板回「没有在跑的试跑进程」时（终端起的进程会被判成 orphan）：直接写控制文件，进程照读
cd ~/Robotic_challenge/05-training/trials
printf '{"cmd":"s","ts":%d}' $(date +%s) > .control.json.tmp && mv .control.json.tmp .control.json

② 爪里还夹着杯子时，不能直接归位。归位目标里的 gripper 取自示范起点 （configs/trial_start_pose.json：左臂 2.12、右臂 11.45，都是接近闭合的值）， 所以「先归位再松爪」会带着杯子跑完全程。正确顺序是先松爪再归位。松爪脚本自己是四段动作： 后缩脱离接触 → 张开 → 抬起 → 再后缩，中途任一段不到位它会停下并拒绝继续。

cd ~/Robotic_challenge/03-software/scripts

# a. 松爪（四段；跑完力矩会卸、手臂会垂 —— 先把杯子拿走）
~/miniconda3/envs/train310/bin/python open_gripper.py --arm left --go

# b. 归位（--arm 换成这一轮在跑的那条臂）
~/miniconda3/envs/train310/bin/python arm_home.py --arm left --go --rate 15 --temp-stop 55 --hold 45

试跑和归位都能把起点沿该臂自己的基座系平移，单位厘米。IK 解不出来（残差超 25 mm）会直接抛错，而不是悄悄退回一个近似姿态 —— 那样等于把手臂送到一个你没要求的地方，而你以为自己在测偏移后的起点。

# 试跑：每一集都归到偏移后的起点（trial 1 之前一次，之后每次按 start 再一次）
--home-left N   --home-right N   --home-forward N   --home-back N   --home-up N   --home-down N

# 只归位、不跑模型
~/miniconda3/envs/train310/bin/python arm_home.py --arm left --left 10 --go --rate 15

保住力矩、让手臂停在偏移起点等下一轮：arm_home.py --hold 到点就卸力矩， 要一直停住得用 keep_torque=True 连接（这样 disconnect() 不掉电）。

cd ~/Robotic_challenge/03-software/scripts
~/miniconda3/envs/train310/bin/python - <<'EOF'
import sys; sys.path.insert(0, ".")
import run_policy_trials as rpt, arm_home as A, policy_safety, thermal_guard, bus_guard
from pathlib import Path
bus_guard.require_free_buses(sorted(str(p) for p in Path("/dev").glob("ttyACM*")), who="home-hold")
rpt.CAMERAS = {}                                   # 不开相机，免得和 8770 抢
pose = A.shift_pose("left", A.load_start_poses()["left"], (-0.10, 0.0, 0.0))   # 左 10cm
pose["gripper"] = 55.0                             # 保持张开，不让归位把爪子闭上
robot = rpt.connect_robot(cameras=False, keep_torque=True)
g = thermal_guard.XLeGuard(robot, ["left"])
r = A.home(robot, {"left": pose}, list(policy_safety.DIMS), send=True,
           hold_s=2.0, rate_deg_s=15.0, abort_if=lambda: bool(g.poll()))
print("worst_deg =", r.get("worst_deg"), g.report())
robot.disconnect()                                 # 力矩【保持】
EOF

# a. 确认没有进程还占着总线（--keep-torque 跑完力矩还在）
pgrep -af run_policy_trials ; fuser /dev/ttyACM0 /dev/ttyACM1

# b. 卸力矩（不卸的话舵机长时间通电，正是这次过热的来源之一）
cd ~/Robotic_challenge/03-software/scripts
~/miniconda3/envs/train310/bin/python - <<'EOF'
import sys; sys.path.insert(0, ".")
import run_policy_trials as R
robot = R.connect_robot(cameras=False, keep_torque=False)
robot.disconnect()          # 打印「两条总线力矩已卸」
EOF

# c. 结果文件（脚本自动写）+ 闭爪时机（主判据）
ls -t ~/Robotic_challenge/05-training/trials/trials-*.json | head -1
~/miniconda3/envs/train310/bin/python trace_timing.py

# d. 手记杯位与颜色 —— trials JSON 里没有这两个字段
#    05-training/trials/cup-positions.json
#    05-training/trials/cup-colour-experiment.json

--success-criterion "杯子被提起离桌面>3cm 并保持>1s" \
--planned-trials 3 \
--void-rule "摆放错误/人为干预/硬件故障/过热停机 → void" \
--initial-conditions "起手位=示范起点向机器人左移10cm；桌面杯位每次记录" \
--prereg-by "操作者+Claude，跑前写定"

覆盖判据（2026-09-11 全仓审计）：把所有直接调 send_action 的文件和两个裸总线驱动（arm_move / arm_keys）逐个过一遍， 现在全部有保护。唯一「没有」的是 policy_safety.py —— 那一行在文档字符串里，不是真代码。

为什么录制那条用 3 Hz 而不是每拍：录制回路的第一要求是永不停顿（_read_arms_fast 的整个设计前提）， 30 Hz 下每拍读一颗就是每秒 30 次额外寄存器读；降到 3 Hz 后 12 颗轮一圈 4 秒，而舵机热时间常数是分钟级，够用。 为什么过热要停掉整集而不是降速：过热之后动作先变短再掉线，这段录进去是坏示范，留着会进训练集，比丢掉更糟。

# 随时查温度（只读寄存器，不驱动手臂）
cd ~/Robotic_challenge/03-software/scripts
~/miniconda3/envs/train310/bin/python - <<'EOF'
import sys; sys.path.insert(0, ".")
import run_policy_trials as R, thermal_guard
robot = R.connect_robot(cameras=False, keep_torque=True)
g = thermal_guard.XLeGuard(robot, ["left", "right"])
for _ in range(len(g.targets) * 2): g.poll()
print(g.report(top=12))
robot.disconnect()
EOF