仿真到现实迁移

是什么

仿真到现实迁移（sim-to-real transfer）是一种机器人学习流程：先让模型在仿真环境里训练或预训练，再把模型迁移到真实机器人上。仿真可以快速、安全地生成大量数据，真实数据则更贴近最终部署条件。在当前的机器人基础模型中，仿真训练和真实训练往往不是二选一，而是组合使用：仿真负责扩展规模，真实演示负责校准和适配。目标不是完全取代真实数据，而是让真实数据发挥更大作用。

怎么工作

典型流程分三步。第一，开发者搭建机器人、任务和传感器的仿真版本。第二，生成演示或轨迹数据，用这些数据训练动作模型。第三，针对特定机器人或任务做后训练（post-training）或微调，通常只使用较少的真实数据。核心难点是“仿真到现实的差距”（sim-to-real gap）：仿真很难完全复现摩擦、光照、传感器噪声和接触力等细节。因此，仿真被当作可扩展的先验，而不是现实世界的完美复制品。

一个直观例子是机械臂学习抓取物体。在仿真中，机械臂可以尝试成千上万次，物体位置和外观可以变化。训练出的策略再放到真实机械臂上测试，并用真实演示做调整。如果仿真场景太单一，真实相机、夹爪或桌面稍有不同，策略就可能失败；如果仿真变化足够丰富，策略更有可能泛化。

从哪来

仿真到现实迁移源于机器人学习中的一个现实约束：收集真实世界演示很慢，物理试验还需要人工监督，并可能造成硬件磨损。仿真提供了一种可并行、可重复的经验来源。因此，它更像是对数据稀缺的回应，而不是某一项单独发明：如果模型能在仿真中学到有用的表征和行为，真实世界训练就可以从更高的起点开始。

今天用在哪里

NVIDIA 表示，GR00T N1 的 System 1 动作模型使用了人类演示数据和由其 Omniverse 平台生成的大量合成数据进行训练^[1]。这说明合成数据直接进入了训练配方，而不只是预处理步骤。NVIDIA 还表示，其 Isaac GR00T Blueprint 在 11 小时内生成了 78 万条合成轨迹，相当于 6500 小时的人类演示数据^[1]。规模是关键：如果全靠真实演示，收集同样多的数据会非常慢、非常贵。

NVIDIA 表示，将合成数据与真实数据结合后，GR00T N1 的性能比只用真实数据训练提高了 40%^[1]。它还表示，开发者可以用真实或合成数据对 GR00T N1 做后训练，以适配特定机器人或任务^[1]。这是一种实用的仿真到现实模式：先大规模训练通用模型，再针对具体本体或具体工作做适配。适配步骤很重要，因为仿真和真实机器人很难完全一致。

围绕模型的基础设施也是故事的一部分。NVIDIA 表示，它正与 Google DeepMind 和 Disney Research 共同开发开源的 Newton 物理引擎，专门用于机器人学习^[1]。它还表示，与 Google DeepMind 共同开发的 MuJoCo-Warp 预计能把机器人机器学习负载加速 70 倍以上^[1]。更快的仿真意味着生成数据和运行训练实验的成本更低，这对仿真到现实工作很关键。

Figure 提供了另一个例子。Figure 表示，Helix 的 System 1 视觉骨干（vision backbone）是用完全在仿真中完成的预训练初始化的^[2]。这是该思路的一个强版本：模型先在仿真中学习视觉表征，再进入真实机器人系统。这并不表示整个机器人只在仿真中训练，但说明仿真可以充当真实世界模型某个组件的预训练场地。

局限

仿真到现实迁移有用，但不是免费的午餐。仿真只是近似，感知、动力学或接触建模上的任何偏差都可能影响真实表现。合成数据可以很多，但会带上仿真器的假设偏差。一个在仿真中表现很强的模型，仍需要在真实硬件上仔细评估，包括仿真没有覆盖的边界情况。因此，像“比只用真实数据训练提高 40%”这样的结果，应理解为特定训练设置的证据，而不是普遍保证^[1]。实际经验是组合使用仿真与现实：用仿真获得规模和速度，用真实数据获得现实校准和验证。