离线强化学习：CQL、IQL在机器人数据上的应用

每日一句正能量

人与人之间最好的关系从来不是单向的索取，而是互为贵人，彼此成就。
贵人不是单方面施恩，而是互相在关键时刻拉对方一把。
通常让人迷茫的原因只有一个，那就是本该拼搏的年纪，却想得太多，做得太少，人生在于拼搏，想十次不如干一次。想要赢，就别怕输，强者就是把对他人“羡慕嫉妒恨”的时间，全部用来提高自己。早安！

当机器人学会从过去的"失败"和"成功"中同样汲取经验，而不需要再次以身试险，它才真正拥有了从数据中进化的能力。离线强化学习，让每一滴历史数据都产生价值。

一、为什么离线强化学习是具身智能的"数据炼金术"

在具身智能的实践中，数据是最宝贵的资源，也是最稀缺的资源。收集机器人交互数据需要昂贵的硬件、大量的时间和专业的操作人员。更糟糕的是，在线强化学习（Online RL）要求机器人在学习过程中不断试错——这意味着碰撞、损坏和潜在的安全风险。

离线强化学习（Offline RL，又称 Batch RL）提供了一条截然不同的路径：仅从预先收集的静态数据集中学习策略，无需任何新的环境交互。这些数据可以来自人类示范、过往机器人实验、仿真迁移，甚至不同但相关问题的解决方案 。</