读懂客人需求的机器人：抓取只是最后一环

我们要做的不是一只机械臂，是一个能读懂客人情绪和需求的机器人。 看见人、判断状态、开口对话、听懂他要什么、把那个东西拿给他——抓取是这条链路的最后一段。 这一页把整条链路摊开（第 0 节），然后回答：为了这个目标，现在该做什么、下一轮再做什么、各自多少钱。 时间有限，所以要分清演示的底线和加分项：左右手抓取的数据已经有了， 单纯用 SmolVLA 能把杯子抓起来，本身就已经撑得起一场演示。 深度定位和物体检测都是泛化用的，不是抓起来的前提，因此归入 Turn 2。

0. 北极星：一次完整的客人交互

下面每一格都可以点开。注意最后两格才是这一页后面在讨论的东西—— 前面五格是这个机器人真正的主体，而且大部分已经在跑了。

← 左右滑动看完整条交互 →

1. 两个 Turn 的分工

2. Turn 1：现在就该做的事

09-04 试跑 0/3，但在归因到「模型不行」之前，两个填错的输入框还没排除：

指令串这一项现在有硬拦截了（robot_server_dashboard.html:4841）：不一致时直接阻止实跑启动。 但正确条件下的 10 次还没跑——截至 2026-09-04 23:28，最新记录仍是 09-04 18:33 那 4 次错误数据。

3. Turn 2：两条泛化路线，各解决一半

它们互补，不冲突，也不互为前提——可以只做一条：

成本对照（这是决定做不做的依据）

3.5 ★ 三条路线：怎么实现、吃多少内存、现在能不能做 ★

Jetson Orin Nano 是 7.4 GB 统一内存（显存和系统内存是同一块）。 下面全部是 2026-09-05 在本机实测，不是估算。

内存与耗时（实测）

三条路线逐项对照

4. 2A 的运行时流程（点开每一格）

← 左右滑动看完整条链路 →

5. 那唯一被挡住的一步，有个不用棋盘格的解法

缺的是相机系 → 臂基座系的变换。09-04 试过棋盘格手眼，失败了——棋盘没夹在爪子上（远程给错了指示）。 但还有一条路，而且不需要再拍一张照片：

6. ★ 用户说「我想要高脚杯」，能不能做到 ★

Pick up the cup with the right arm.   task_index 0
Pick up the cup with the left arm.    task_index 1

那为什么它的 VLM 主干「认识」高脚杯却不管用？ 因为主干是冻结的（freeze_vision_encoder: True、train_expert_only: True）， 训练时只有 action expert 在学，而它只在那两句指令上学过。语义知识在模型里，但没有通向动作的路径。

要让 SmolVLA 自己做到，需要什么

这条路对我们的时间预算来说不现实。

★ 正确的做法：把语义放到策略外面 ★

结论：「用户说要什么就拿什么」是可以做到的，但它的能力来源是开放词表检测器，不是 SmolVLA。 这也反过来说明 2A 的价值——它不只是「换位置也能抓」， 它是让机器人能听懂点单的那条链路。

7. ★ 2A 动手之前必须先验的那一件事 ★

验证方法，五分钟，零标定、零代码：把手臂手动摆到预抓取位姿（相当于编码移动已跑完）， 指令串用右臂那句、speed 1.0，启动策略，看它接不接得上。

8. 2A 的数据要怎么采（只有第 7 节测出「接不上」才需要）

9. 训练链路的变化

10. 代码骨架（2A）

# 03-software/scripts/guided_grasp.py   （新文件，还不存在）
import arm_kinematics, policy_safety
from cup_locate_demo import locate_nearest          # 已有：深度 → 相机系 3D
from v4l2_depth import DepthCamera                  # 已有：裸 V4L2 读 Z16

# ── ① 看：深度帧 → 杯子在相机系的 (X, Y, Z)，毫米
with DepthCamera(DEPTH_NODE) as cam:
    hit = locate_nearest(cam.read())
if hit is None:
    return "没找到杯子"                              # ← 必须有这个分支，不许瞎猜

# ── ② 换坐标系：相机系 → 臂基座系   ★ 唯一缺的一环，见第 5 节
y_base, z_base = camera_to_base(hit.X, hit.Y, hit.Z)

# ── ③ 退一点：不要直接怼到杯子上，留出预抓取距离
y_pre = y_base - PREGRASP_BACKOFF_M                 # 需要实测确定

# ── ④ IK：(y, z) → 关节角      已有，且已绕开上游 FK/IK 不自洽的坑
lift, elbow = arm_kinematics.inverse(y_pre, z_base)
pan = pan_from_lateral(hit.X)

# ── ⑤ 安全层：和试跑用的是同一套      已有
target = policy_safety.clamp({... lift, elbow, pan ...})

# ── ⑥ 送到手臂：和 run_policy_trials 同一个原语      已有
robot.send_action(target)

# ── ⑦ 交棒：策略接管，只做最后的闭合与提起   ★ 未测，见第 7 节
run_policy(...)

11. 每条结论的证据等级

12. 一句话

Turn 1 零成本，只差跑对一次，那是演示的底线。 Turn 2 的两条路各解决一半泛化：2A 换位置、2B 换外观，都不是抓起来的前提。 而「用户说要高脚杯」这种交互，能力来源是开放词表检测器而不是 SmolVLA—— 它是 2A 的副产品。动 2A 之前，先花五分钟把手臂手动摆到预抓取位姿跑一次策略。