B0：把画面按物体切开，而不是按方格切开

这一页讲清楚 B0 的逻辑：现在的模型到底在学什么、为什么它换个杯子就不行、 B0 在机制上改了哪一步、以及在什么条件下应该判它「不做」。 接口部分已经读通并实测过；耗时部分还没测，那是能不能做的唯一决定项。

1. 起点：现在的模型在学什么

所有逻辑都从这一步来。SmolVLA 每次推理，输入端是这样拼起来的 （modeling_smolvla.py:552 的 embed_prefix，读过源码）：

embs = []
for img in images:                      # 三路相机
    embs.append(self.vlm_with_expert.embed_image(img))   # 每路 64 个 token
embs.append(lang_emb)                   # 语言："Pick up the cup with the right arm."
embs.append(self.state_proj(state))     # 17 维关节 → 960 维，1 个 token
embs = torch.cat(embs, dim=1)           # 拼成 prefix，action expert 在上面做注意力

关键在那 192 个视觉 token 是怎么来的：512×512 的图，切成 16×16 的 patch 得 32×32=1024 块， 再经 scale_factor=4 的 pixel shuffle 压 16 倍 → 每路 64 个，三路共 192 个。

2. B0 改的是哪一步

B0 不动那 192 个方格 token，而是在它们之外再加 N 个物体 token：

1. 先用一个类别无关的检测/分割器把画面切成若干「物体」——不问它是什么，只问「这儿有一个东西，它占这块区域」
2. 每个物体变成一个向量（框的几何 + 该区域的特征）
3. 过一个新的 object_proj 投到 960 维，append 进上面那个 list

模型于是同时拿到两样东西：方格里的纹理（原来就有），以及「这儿有一个物体，它在这个位置」。 后者对外观变化不敏感——磨砂杯和透明杯，检测器都只报「这儿有个物体」，位置一样，token 就一样。

学的东西从「画面第 137 号格子亮起来时该动」变成「那个物体在哪」。这是 B0 的全部内容。

先例两条，成功率不要照抄

3. 为什么现在只剩这一条

2026-09-04 把四个分支逐一排除：

4. ★ 核心逻辑：它只解决两种泛化里的一种 ★

这是判断 B0 值不值最关键的一条区分。之前的表述把两者混为一谈，是错的：

换杯子是外观泛化：同一个位置换一只杯子，动作一模一样，变的只是画面。 B0 把「这个位置有个物体」和「这个物体长什么样」拆开，模型学前者——正是 B0 对口的问题，且不需要任何新数据。

换位置才受数据覆盖限制。实测（合并集 202 集，方法见文末）：

5. 接口：具体改哪十几行

embed_prefix 就是一个 list 最后 concat，插物体 token 等于再 append 一项 [B, N_obj, 960]：

# 新增（照抄 state_proj 的写法，它在 modeling_smolvla.py:508）
self.object_proj = nn.Linear(obj_feat_dim, 960)

# embed_prefix 里，state 之后
embs.append(self.object_proj(object_feats))    # [B, N_obj, 960]

连带要改的两处（不改会静默出错）：

• pad_masks——检出数量每帧不同，缺的要 pad 并标掩码
• att_masks——这一项决定成败，见下

★ 2026-09-05 读源码后的三条更正 ★

另外两处第 0 步就会发生、但不致命的影响：action expert 必然受影响（那正是目的，多了 N 个 key， softmax 分母变了）；object_proj 随机初始化会在训练最初喂噪声—— 把最后一层零初始化可缓解，但即使 value 全零，多出的 key 仍参与 softmax 归一化、会稀释原有权重， 所以「零初始化 = 恒等」是错的，仍需 warmup。

6. 为什么走「加法」不抄 Oat-VLA 的「替换」

Oat-VLA 用 N 个物体 token 取代原来的视觉 token，图的是推理变快。 我们实测过，那个动机在我们这儿不成立：

逻辑很简单：替换的唯一好处是速度，而速度收益已经被实测否掉； 那就只剩下「丢掉预训练视觉对齐」这个确定的风险，去换一个可能为负的收益。加法保留 B0 真正那条理由（泛化），不去赌那个不显著的数字。

7. 还没做的三件事，以及判据

T1 · 量检测器在 Jetson 上的单帧耗时 ★ 决定性

算力预算：每 1667 ms 的动作，扣掉 SmolVLA 自己的 1329 ms，只剩 337 ms。

候选优先级：先量 OWLv2——不是因为它更好，而是因为我们已经在自己数据上验过它 （24/36 检出，阈值 0.30 时非杯误检为 0）。它出的是框不是掩码，但框也完全够当物体先验用。 FT-Dinosaur 是 Oat-VLA 的选择，更重，作为第二顺位。

T2 · 写出并跑通接口改动

先在不加载真实物体 token（喂零向量）的情况下跑通训练一步，确认形状和 mask 都对。 形状对了再接检测器——两个错混在一起最难查。

T3 · 算净收益并决定

把 T1 的耗时、T2 的实现代价、训练成本放一起，给出「做 / 不做」。 允许的结论包括「不做」——如果 T1 就否掉了，把结论写下来，别硬上。

8. 动手之前的前置门：两个还没排除的输入框

为什么要做那两张对照表

它们不是例行统计，是两个证伪实验，查的是两个不同的东西，不能互相替代：

削减是拿 raw（安全层之前）和 safe（放行后）比，差值完全归安全层。 开合次数只看 raw，那是策略的原始输出、安全层碰不到，所以它是纯粹的「模型在想什么」的读数。

示范里 40 集全是「张开 → 闭合一次 → 提起」，没有一集有第二次开合。 试跑里一半出现多次开合——这是反复试探的形状，和「喂了没学过的指令串」高度吻合。

四种结果对应四个不同结论：

9. 会让 B0 失败的三件事

10. 每条结论的证据等级

11. 复现方法

数据覆盖：读合并集 data/**/*.parquet，按 episode_index 分组， 找每条臂夹爪值第一次降到 (max+min)/2 以下的帧，取当时的五个臂关节。 合拢时夹爪就在杯子上，所以这个构型代表杯位——不需要手眼标定。

开合次数：取夹爪序列，以 min+0.25*range 和 min+0.75*range 为双阈值做迟滞计数， 统计 open→closed 的转换次数。示范必须用同一个函数算，才可比。

12. 一句话

B0 是现在唯一不需要标定、不需要重采数据的策略改进方向，接口已经确认可行； 但它唯一站得住的理由是「换杯子」的泛化，不是速度，也不是「换位置」。 动手之前先花五分钟排除那两个填错的输入框；动手之后要记住， 数据覆盖只有 35° 的横向范围，架构变不出数据里没有的东西。