Sim2Real:域随机化比视觉逼真更常用
完美仿真过拟合会 transfer 失败;随机化质量、摩擦、延迟,并对齐控制频率,通常比追 photorealistic 划算。

1. Sim 满分,真机摔
Sim 里满分、真机摔:动力学 gap(质量、摩擦、关节阻尼、contact model)、控制 delay、传感器噪声、校准误差。只 randomize 视觉不 randomize 动力学,力控仍崩。Sim 满分不等于 real 可用——真机小预算做 BC 或 RL fine-tune,sim 只解决「大致会动」。Randomization 范围太大,sim 都学不会;太小,无 robustness。完美仿真过拟合会 transfer 失败;随机化质量、摩擦、延迟,并对齐控制频率,通常比追 photorealistic 划算。
2. Domain randomization 机制
训练时随机采样物理参数(质量正负百分之二十、摩擦零点五到一点五倍、电机强度、观测噪声)。策略学 robust policy,而非单点动力学最优。动力学参数(质量、摩擦、关节阻尼、电机增益)往往比换纹理更影响力控 transfer。我会把 ident 误差范围写进 randomization bounds,而不是拍脑袋正负百分之五十。Randomization schedule:前期 narrow 易学,后期 widen 提 robust;一开始全范围 random 可能导致 sim 都学不会。
3. 控制对齐与 delay
Sim 1000 Hz PD + RL 50 Hz 命令,真机必须同架构。Delay 未建模,sim 学 aggressive 动作真机振荡。控制 delay 用 sim 里固定 lag 步数模拟,让 policy 对 latency 鲁棒。Real 上 PD gain 和 sim 不同,同样 RL 输出会被跟踪成不同轨迹——要么 sim 里用同样 gain 分布 randomize,要么 real fine-tune。Sim 与 real 各录 30s 同 motion 视频并排,肉眼 phase lag 比 metric 更早暴露 delay mismatch。
4. 视觉 vs 动力学 gap
视觉 domain randomization(纹理、光照)对 camera-based policy 重要;力控 manipulation 更吃 friction/mass/delay。只 randomize 视觉而不 randomize contact,力控 transfer 仍失败。Camera sim2real 加 real background plate 有时比纯 random texture 快。System ID 缩小 randomization 范围有时比盲目大范围更有效。Sim asset(URDF mass)和 real 称重量差大于百分之二十时,randomize range 要 cover 实测区间。
5. 案例:delay 未建模
某力控任务 sim 满分,真机振荡。并排视频发现 phase lag,sim 未建模控制 delay。加固定 lag 步数 randomization 后,同样策略真机才稳。System identification 加 finetune:先在 sim 训,真机少量数据 RL/BC 微调。Fine-tune 数据少时用 BC on real 初始化再 RL,比 pure RL sample 省。Domain rand 范围过大导致 sim success 低于百分之二十时收窄范围优先。
6. 五项 checklist 与 eval
真机试跑前 sim 侧 sign-off:控制频率、delay、action 语义、normalize stats、safety clamp 五项全勾再预约 lab slot。Sim 训好 policy 加 最大 randomization eval,看 success 是否仍大于百分之五十。真机小 batch A/B。Log sim 参数采样范围是否覆盖 ident 误差。五项 checklist 全勾再真机:control freq、delay、action 语义、normalize、safety clamp。
System ID 缩小 randomization 范围有时比盲目大范围更有效。Real 上 PD gain 和 sim 不同,同样 RL 输出会被跟踪成不同轨迹。Camera sim2real 加 real background plate 有时比纯 random texture 快。Fine-tune 数据少时用 BC on real 初始化再 RL,比 pure RL sample 省。Domain rand 范围过大导致 sim success 低于百分之二十时收窄范围优先。
7. 真机试跑前的五项签核
控制频率、动作延迟、动作语义、观测归一化统计、安全限幅——五项全勾再预约实验室时段。仿真训练好后用最大随机化做评估,成功率仍大于百分之五十才值得上真机。系统辨识误差范围写进随机化边界,比盲目正负百分之五十更有效。视觉随机化对基于相机的策略重要;力控 manipulation 更吃摩擦、质量、延迟。只随机化视觉不随机化接触,力控迁移仍失败。真机小批量 A/B 和并排视频比单一指标更早暴露相位滞后。
8. 验收
- Sim 训好 policy 加最大 randomization eval,success 仍 >50%。
- 真机试跑前五项 checklist 全勾。
- 真机小 batch A/B。
- Log sim 参数采样范围是否覆盖 ident 误差。
- Sim 与 real 并排视频,phase lag 可接受。
Sim2Real 的核心是「覆盖 ident 误差」,不是「仿真越逼真越好」。动力学 randomization 比 photorealistic 更常决定力控 transfer 成败。五项 checklist 全勾再预约 lab slot,比带着未对齐的控制频率上真机省时间。
相关
也可以看看
johan's blog