2025_NIPS_On the Importance of Exploration for Generalization in Reinforcement Learning

文章核心总结

主要内容

• 现有深度强化学习（RL）泛化改进方法多聚焦表征学习，忽视了探索这一RL特有属性。
• 提出假设：智能体的探索策略是其泛化到新环境的关键，通过表格型上下文马尔可夫决策过程（CMDP）实验验证，探索不仅能高效找到训练环境的最优策略，还能获取利于未知环境决策的知识。
• 设计EDE（Exploration via Distributional Ensemble）方法，通过Q值分布集成鼓励探索认知不确定性高的状态，是首个在Procgen和Crafter两大高维观测泛化基准上取得优异性能的基于价值的方法。

创新点

1. 明确探索是CMDP中泛化的关键因素，通过表格型CMDP的直观示例提供支撑。
2. 提出基于最小化智能体认知不确定性的探索方法，利用深度集成和分布型RL分离认知不确定性与随机不确定性。
3. 首次让基于价值的方法在Procgen和Crafter基准上实现最先进性能，在样本效率和泛化能力上超越强策略优化基线。

翻译部分（Markdown格式）

Abstract

现有深度强化学习（RL）中提升泛化能力的方法大多聚焦于表征学习，却忽视了探索等强化学习特有的方面。我们假设智能体的探索策略对其泛化到新环境的能力起着关键作用。通过在表格型上下文马尔可夫决策过程（CMDP）中的一系列实验，我们发现探索不仅有助于高效找到训练