深度、点云、VLA：三条路怎么选，以及为什么「结合」的做法都长一样

从一个好奇的问题开始——用深度相机的人一般怎么训练？大部分人用 VLA 还是点云？—— 一路追到 SmolVLA 注意力掩码里的一个 bit。 结论是：不是二选一，而是有一个所有人都收敛到的结构做法；而那个做法能不能不破坏预训练，取决于一行 att_masks。

1. 先量一个数，不靠印象

实测方法：遍历 lerobot/policies/*/ 全文搜 depth / point_cloud， 命中全部是 transformer 的层数（depth: int = 24），没有一个是深度图。

2. 大部分人用 VLA，而且是 RGB-only 的 VLA

最硬的证据是基座模型的输入规格：

3. 深度的四种用法（只有一种涉及仿真）

④ 已经被我们排除过：Point Cloud Matters 系统比较 RGB / RGB-D / 点云三种观测空间，点云常优于另两者，尤其在泛化和低数据量场景。 我们原来的路线 B 正是「深度伪彩成第四路相机」，就是因为这篇被改掉的。

4. 点云那一支强在哪

DP3 放弃语言泛化，换几何精度和低数据量：

iDP3 把它从世界系改成相机系（egocentric）， 因此不需要相机外参标定、不需要点云分割，作者报机上算力实时 15 Hz。

5. SmolVLA 对点云的优势（我们最关心的那条）

① 语言条件——最根本的一条

我们自己合并集的 tasks.parquet，实测：

Pick up the cup with the right arm.   task_index 0
Pick up the cup with the left arm.    task_index 1

一个模型、两种行为，靠一句话切换。DP3 结构上做不到——它没有语言输入，一个策略对一个任务。

② 无色点云看不见外观

DP3 用的是无色点云——这也正是它免疫光照和纹理干扰的原因。代价是： 形状相同、外观不同的两个物体，它物理上分辨不了。 「拿红色的杯子，别拿蓝的」——同款塑料杯，点云完全一样。 这不是调参问题，是表征里根本没有那个信息。

③ 一个标定都不需要

我们现在手眼没做完、深度内参没标——SmolVLA 是在这两件事都缺的情况下今天就能跑的唯一选择。 这不是理论优势，是此刻的实际状态。

④ 深度失效的物体它不受影响

透明+反光会让深度直接空洞。目标清单里有彩色透明高脚杯——那种杯子上点云是空的，SmolVLA 只是看图。

⑤ 预训练迁移 + 生态

互联网规模视觉-语言预训练打底，lerobot 内置、数据格式/训练脚本/安全层全现成。 DP3 是另一套代码库——这就是把 B3 排除的理由：换策略家族 = 整条链路重来。

反过来，点云赢在哪（不能只讲一边）

6. 「结合」那一支：三组人收敛到了同一个做法

这是整个调研里最有信息量的一条。2025–2026 结合类的工作在变多，而且结构决策高度一致：

怎么选，判据是你缺哪种能力：

7. ★ 一路追到那一个 bit ★

「旁路注入不破坏预训练」听起来像个愿望。在 SmolVLA 上它可以做到严格成立，而且能证明—— 但成不成立完全取决于 att_masks 里的一个数。

掩码是怎么算的

policies/common/vla_utils.py:87-90：

cumsum = torch.cumsum(att_masks, dim=1)
att_2d_masks = cumsum[:, None, :] <= cumsum[:, :, None]
pad_2d_masks = pad_masks[:, None, :] * pad_masks[:, :, None]
return att_2d_masks & pad_2d_masks

att_masks 不是「能不能看」的开关，是块边界标记：cumsum 给出块号， token i 能看到 token j ⟺ 块号(j) ≤ 块号(i)。

现在的 prefix 长什么样（读 modeling_smolvla.py）

总长 241 token。源码注释原话： "Set attention masks so that image and language inputs do not attend to state or actions"—— 图像和语言看不到 state。

谁能看到谁（这就是那个 2D 掩码）

但这只在一种写法下成立

所以「加法不干扰」这句话，只在「放最后 + 开新块」时成立。写错一个数，性质就完全变了。

8. 三处是真的会变的

9. 两条对 GOAL 文档的更正

10. 顺带：Gemini 不是我们的约束

按我们自己的实测记录排，真正挡着深度路线的：

Gemini 335 是主动+被动立体（850 nm），不是 ToF——比 DP3 用的 L515 差一档， 但那个差距只在跑 DP3 那条路时才存在。 相机是这条链路上唯一已经验证没问题的一环；挡住我们的三条全是我们自己这边的事。

11. 每条结论的证据等级

12. 一句话

不是「VLA 还是点云」二选一，是「保住预训练，旁路加几何」—— 独立几组人收敛到了同一个做法。而在 SmolVLA 上，这个做法能不能不破坏预训练， 取决于 att_masks 里的一个 bit：放最后、开新块，图像和语言的表征就逐比特不变； 写错位置，预训练特征就被改写。