左臂 sep3 训练集的抓取位点图 —— 以及它暴露的一件没人知道的事

这张接触表本来只是上机前的例行体检：把 54 集里「闭爪前一瞬」的画面拼在一起，看构图散不散。表本身是干净的。但把每集第 0 帧的颜色量出来之后，发现这份被当作一份数据的集子，其实是两批不同光照下录的，28 / 26 对半劈，而且分界是一个台阶不是渐变。更麻烦的是：09-06 实测的现场光照，两批都不像。

一、先看表本身：构图是好的

先说这张表可信的依据，不是「看着挺好」：

• 54 集全部被自动判为左臂，判据是每一维 action 的方差，不是数据集名字。
• 闭爪时刻落在集内中位 131 / 246 帧，最早 94、最晚 209，没有一集落在第 0 帧。

第二条是这次真正的防呆。同一段代码在修好之前写死用右臂夹爪那一维（dim 11），拿这份左臂集跑的结果是：54 集全部落在第 0 帧，而且不报错 —— 拼出来是一张「手臂还在起点」的表，看上去像张正常的表。左臂夹爪是 dim 5。

二、真正的发现：这份集是两批光照

把每集第 0 帧头相机整幅画面的平均 R、G、B 算出来，取绿红比 G/R。1.0 = 绿红相等（中性），所以基线画在 1.0，柱子往上＝偏绿。

每集第 0 帧头相机全幅均值，PyAV 顺序解码，2026-09-07 实测。悬停看单集数值。

分界是台阶，不是渐变：ep27 = 1.271，ep28 = 0.978。相邻两集之间掉了 0.29，而各批内部的全部波动加起来也没这么大。这不是灯慢慢变了，是中间换过一次光（或者开了灯 / 天亮了 / 换了房间）。

三、为什么这件事重要

train-left-2026-09-06.html 里记过两个数，现在要一起重读：

• 「这份集是 1.21」—— 现在知道了，这是 1.28 和 0.98 的平均数，没有任何一集在 1.21 附近。用它来判断「现场光照像不像训练数据」会得出错误结论。
• 「09-06 当晚实测头相机 1.58」—— 比偏绿那一批（最高 1.363）还要绿。也就是说上机那一刻，两批都不匹配，而且偏得比批间差异还远。

四、接下来做什么

1. 上机时把现场 G/R 量出来记进试验记录。现在这个数只在有人专门去量的时候才存在，事后无法追溯 —— 和 08-23 那批只留了 OK/CLIPPED/HELD 三个计数是同一类问题。
2. 试跑时把两批分开看。如果失败集中在某一批的杯位上，那是信号。
3. Demo Day 的光照现在是已知风险。机器人要被搬到会场，光照必然和这两批都不同。这条已经写进 CURRENT-STATUS.md 的开放风险。

五、后续：模型侧的实测（2026-09-08 追加，当日两次修正）

改用整条动作块 + 分阶段测量之后

工具改成 chunk_sweep.py：reset 一次连抽 50 步拿到整条计划，用计划终点对杯位回归； 并在够取过程的 phase 0.35 / 0.70 各测一次（起手位斜率天然 ≈ 0，没有分辨力）。 同时把 sep3-clean 的两批光照分开各测一次（ep0–27 / ep28–53，分界见第三节）：

顺带纠正一处配方差异

核对 train_config.json 时发现，这一轮左臂训练的图像增强是关着的 （image_transforms.enable = False），而同期右臂那一轮是开着的 （ColorJitter 亮度/对比度/饱和度/色相 + 仿射）。
这一条此前没人记录，而它正好落在光照这个话题上：一份本来就有两种光照的数据，训练时不做任何颜色扰动。 下一轮左臂训练应当 AUG=1，理由不是"修数据"，而是光照本来就是要泛化的东西 —— 机器人会被搬到会场，现场光照和这两批都不同。按这个角度看，双峰不是要消除的杂质， 是仅有的一点光照多样性；去"清洗"成单一光照反而会让泛化更差。

六、一个新发现的雷：9 个恒定维（2026-09-08 追加）

同一次横扫顺带查出来的，和光照无关，但影响所有左臂模型的实机表现：

sep3-left/020000 的恒定维（训练集里 std == 0）共 9 个：
  right_arm_shoulder_pan / shoulder_lift / elbow_flex / wrist_flex / wrist_roll / gripper
  x.vel / y.vel / theta.vel

录左臂数据时右臂不动、底盘不动，所以这九维在 13,693 帧里是常数，训练统计量的标准差恰好是 0。 而 lerobot 的归一化是 processor/normalize_processor.py:359：

denom = std + self.eps          # eps = 1e-8，std==0 没有任何保护
return (tensor - mean) / denom

推理端已修（run_policy_trials.py 的 install_state_guard()，2026-09-08）：从 checkpoint 自己的统计量推出所有 std==0 的维度，喂给策略前钉回训练均值。不硬编码哪条臂，左右通用。 跑左臂模型之前确认日志里有这一行：

== state 恒定维保护【已启用】: 9 维在训练集里恒定(std==0)，喂给策略前钉回训练均值

看不到这一行就是没生效，那一批数据不作数。下次录左臂数据时不该再留这个雷 —— 要么让不动的那条臂真的报数，要么明确不把它放进 state。

七、左臂补录要按哪份指南（2026-09-08 追加）

09-08 从右臂数据里量出来的四条要求，对左臂一模一样成立，见 Recording guide（英文，可直接发给队友）：

1. 杯位覆盖 —— 右臂那份 40 集的覆盖差了 16 倍，最疏一档只有 1 集，而那一档正是操作者标的 hard zone。左臂 54 集的覆盖分布还没有量过，应当先量再决定补哪儿。
2. 打散节奏 —— 右臂示范里「跑到全程 63.2% 闭爪」的标准差只有 4.6%，模型数拍子就能压低 loss、完全不用看杯子。左臂这个数同样没量过，值得先算一遍。
3. 补「先偏再修正」的集 —— 右臂 40 集全是一次成功，左臂 54 集大概率也是。
4. 每集记录杯子真实位置 —— 今天所有分析都卡在没有真值上。

八、这一页答不了什么（诚实标注）

• 不能说光照导致了 0/6。没做对照实验。
• G/R 是整幅画面的均值，包含桌面、背景、机器人本体。杯子局部的颜色偏移没有单独量。
• 只量了每集第 0 帧。集内是否有变化没查。
• 亮度两批差 6.6（102.3 vs 108.9），差异远小于色偏，本页没有展开分析。