整个sim-to-real过程如图4所示,共分为四步:

(1)识别出机器人的物理参数,并对机器人进行刚体运动学/动力学建模;

(2)收集真实的关节电机执行数据,训练一个Actuator Net;

(3)在仿真中,利用Actuator Net建模关节电机,并结合第一步中的刚体运动学/动力学建模,进行强化学习;

(4)将第3步中训练得到的策略部署到真机上。

RL最大的问题就是data,sim中的充分的data有利于减少我们现实世界的成本

sim2real确实不是大问题了,但是zero-shot/few-shot sim2real永远是大问题,因为zero/few-shot learning本身就是大问题