中文 EN
← 返回:仿真 · RL · 深度 总览
XLeRobot · 深度研讨 / B 段展开 · 2026-08-28
在租的 GPU 上跑 Isaac SO-101 合成增强:
Isaac Sim Cosmos 合成增强 co-training 租 GPU IL 数据增强
这是总览页 B 段「NVIDIA Sim-to-Real SO-101」那一句的展开。核心问题:我们既然本来就租远程 4090 训练,那能不能也租 GPU 把 Isaac 这套合成增强跑起来,给抓杯补数据?结论先行,再逐条给来源。
能租、也不贵,但是四张牌里最后一张;官方证据只有仿真 50–70%,真机无成功率数字。
这套管线长什么样(以及它喂给谁)
Isaac Sim 场景:SO-101 + 杯
需自建你的臂+杯资产(gap 要闭)
仿真里遥操
≈75 条仿真示范(约 1 小时)
域随机化 + Cosmos 增强
合成增强:×光照/背景/纹理
少量 demo → 大量多样变体(这是价值点)
联合训练 5 真 + ≈80 仿
VLA 策略(课程用 GR00T)
同一条 LeRobot 命令部署
真机 SO-101
课程无成功率数字 · 警告可能抓空
仿真评估 50–70%
(唯一被量化的成功)
真机:证据薄弱
是教程走通,非论文级成功率
↳ 它喂给 IL 的是「示范覆盖」,不取代真数据采集。
图 · Isaac 合成增强管线。绿色=价值点(廉价扩覆盖)与唯一被量化的成功(仿真 50–70%);红色=真机部署,课程未报成功率、警告可能抓空。它是 IL 的「覆盖倍增器」,不是替代品。
① 能不能租 GPU 跑?能 —— 而且 4090 正好是对的卡 硬件不是问题 Isaac Sim 需求 · NGC 容器 · Vast 价格 · RunPod 价格
要 RT core: Isaac Sim 官方需求明确写「没有 RT Core 的 GPU(A100、H100)不支持 」—— 因为它用 RTX 光追渲染。所以数据中心大卡反而不能 用,而你租的 RTX 4090(24GB)正好是对的档位 (L40S、A6000 也行;最低约 RTX 4080 16GB)。云上能跑: NVIDIA 在 NGC 提供 Isaac Sim 容器,支持 headless + WebRTC 串流。RunPod 有社区做的 Isaac 模板(其内建串流要 UDP,RunPod 不转发,所以走 noVNC 虚拟显示);Vast.ai 上有人用 4090 跑;AWS/GCP 要选 RTX/L40S 档(G6/G6e),别选 A100/H100。成本很便宜: Vast 上 4090 约 $0.13–0.39/hr、A6000 约 $0.28、L40S 约 $0.39;RunPod 按需 4090 约 $0.69、A6000 约 $0.53、L40S 约 $0.99。一次有界的合成数据生成+训练是个位到低两位数美元 。成本不是约束。
② 那门课到底证明了什么(诚实读) 证据薄弱 课程总览 · 仿真评估 · 真机评估 · Cosmos
任务/流程: 用 VLA(课程用 Isaac GR00T )做把离心管放进试管架的非结构化取放。管线=仿真遥操→采仿真 demo→域随机化→Cosmos 增强 →(可选)5 真 episode 联合训练→LeRobot 部署真机,还配了闭执行器 gap 的工具(SAGE/GapONet)。仿真结果: 仅用 75 条仿真 demo (约 1hr 遥操),课程说「预期评估成功率在 50–70% 之间 」—— 但这是仿真里 的数字。真机结果 —— 关键诚实发现: 真机评估页没有成功率、没有试验次数、没有基准数字 ,是一份操作走查,还明确写「同一策略在真实光照与动力学下可能抓空、过冲或行为不同」。联合训练(5 真 + 70–100 仿)也是走查,课程内没有仿真 vs 联合训练的定量对比 ,数字引的是外部论文《Sim-and-Real Co-Training》(RSS 2025)。Cosmos 是什么: NVIDIA 的生成式「世界基础模型」。在这套里 Cosmos Transfer 通过加光照/背景/颜色/纹理的多样性,把少量 demo 变成大量逼真变体 —— 正是「廉价攻示范覆盖」那个杠杆。
③ 真正的成本在哪(不在 GPU)
项
是不是问题
GPU 小时费 否 —— 有界任务,个位到低两位数美元。 搭建工程 是,最重的税 —— Isaac Sim 5.1/6.0 + IsaacLab 2.3 + SO-101 场景 + 域随机化 + Cosmos + 云串流(UDP/WebRTC vs noVNC),多天,栈更新快。 资产建模 是 —— 要把你的臂+杯建成仿真资产并闭执行器/外观 gap;你的杯≠课程的试管。
④ 排序:四张牌里最后一张
① 修真示范覆盖/精度 (最便宜,直接对准诊断出的瓶颈)→ ② 深度相机几何抓取 (确定性,不靠策略泛化)→ ③ HIL-SERL 真机 RL (在真硬件上学,没有 sim gap)→ ④ 这张 Isaac 合成增强 。它搭建/资产开销最高、又只有仿真证据、sim-to-real gap 未闭 —— 是个「覆盖倍增器」,只有当真数据管线和抓取基础已经 work 后才回报。
什么时候真的值得上这张牌: 当你判断「真示范采集本身成了瓶颈、想廉价扩杯位/光照/背景的覆盖」,而且抓取基础(靠真数据或深度模块)已经能稳定成功 —— 这时用 Cosmos 增强 + 5 真/≈80 仿的联合训练配方去扩覆盖,才是它的甜点。反过来,现在 0 次成功的阶段,先把上面 ①②③ 走完。
来源均经检索核对(2026-08)。版本号以当日文档为准;市场 GPU 价格会波动。诚实标注:课程未证明真机稳定抓取(只有仿真 50–70%),已按此表述。
⑤ 在我们目标 + 机子上:工作量 + 调试清单
A. 要准备的东西
项 内容
GPU 租带 RT core 的卡(4090 / L40S / A6000);A100/H100 不支持 软件栈 Isaac Sim 5.1/6.0 + IsaacLab 2.3(≥16GB 显存、≥32GB 内存、Python 3.11);用 NGC 容器省事 SO-101 仿真资产 MJCF/URDF(TheRobotStudio/SO-ARM100)+ 你的杯子模型 仿真示范 约 75–100 条仿真遥操 真机种子示范 约 5 条真机 episode(用于 co-train)
B. 哪些本地、哪些能远程
这条几乎全能远程 —— 场景搭建、域随机化、Cosmos 增强、训练全在租的 4090/云 RTX 上;只有采 5 条真机种子示范、和最后真机测 要本地。正好和 HIL-SERL 相反: HIL-SERL 训练时也得连着真机,Isaac 是训练全离线在 GPU 上、最后才碰真机。
远程 4090 / 云 RTX(几乎全部)
· 搭 SO-101 + 杯子仿真场景
· 域随机化
· Cosmos 合成增强
· 训练 / 联合训练
本地 · 真臂
· 采 5 条真示范
· 最后真机测
5 条真示范
部署 →
图 · Isaac 这条几乎全在远程 GPU 上(场景/域随机化/Cosmos/训练);只有采 5 条真示范和最后真机测在本地。和 HIL-SERL 正相反 —— 那条训练时也得连着真机。
C. 怎么跑测
仿真里 eval: 预期 50–70% 成功(这是仿真里的数字)。真机测: 用同一条 LeRobot 命令部署,不同杯位跑 N 次。这一步没有官方成功率保证 (证据薄弱,见 §②)。
D. 调试 TODO(照做)
租一台带 RT core 的 GPU(4090/L40S),用 NGC 容器装 Isaac Sim + IsaacLab。
把 SO-101 + 你的杯子建成仿真场景(闭执行器/外观 gap)。
仿真里遥操采约 75 条 demo。
配域随机化 + 跑 Cosmos 增强(扩光照/背景/纹理)。
本地采约 5 条真机 episode。
co-train(5 真 + 约 80 仿),仿真 eval 到 50–70%。
同一条 LeRobot 命令部署真机,不同杯位测。
E. 坑(诚实标注)
云上串流有摩擦 (Isaac 内建串流要 UDP,RunPod 不转发 → 走 noVNC)。你的杯≠课程的试管, 资产 + 执行器 gap 要自己闭。真机成功率无官方保证 (只有仿真 50–70%)。排最后一张牌: 前三步(修数据 / 深度抓取 / HIL-SERL)没走完,别先做这个。
← 返回总览:仿真 · RL · 深度 —— 整体学习策略架构