【强化学习】Dueling Network Architectures for Deep Reinforcement Learning (2016)

最新推荐文章于 2026-06-22 08:27:29 发布
原创 最新推荐文章于 2026-06-22 08:27:29 发布 · 1.6k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
探讨了在Enduro游戏等环境下，行动价值估计的局限性及状态价值的重要性。提出了一种新的Q值分解方法，将Q值分为状态价值V和行动优势A，解决了传统方法中V和A不可区分的问题，通过调整A的基准值来稳定模型。

作者认为估计每个action的价值是没有必要的，例如在Enduro游戏中，仅仅当碰撞要发生时，判断左转还是右转才是有效的。在一些状态下，知道该做什么action是首要重要的，但是在一些其他状态下，action的选择对于产生的结果是没有影响的。然而state value的估计对于每个状态是至关重要的。作者说这个方法在存在多个相似的action时效果很好。

在这里插入图片描述
所以作者重新定义了Q值：
在这里插入图片描述

V表示state value，A表示（state-dependent）action advantages。

但是作者又认为这个公式是没有鉴别性的，因为被给Q值，无法分别估计出V和A。
（但是这样又会怎么样呢？这块不太懂。。。）所以作者首先想的是给A减去一个常量：
在这里插入图片描述

让A-max（A）趋近于0，这样就可以得到Q=V。

之后又有一种变化：
在这里插入图片描述

作者认为这样损失了V和A原始的语义信息（减去最大值的方法没有损失吗？）增加了模型的稳定性，同时也没有改变V和A的本质表示。（但是这样就能从Q恢复到V和A了嘛？）

标签
#强化学习
皇铁生
关注
deep-reinforcement-learning-networks, 一种用于强化学习任务的深层神经网络结构.zip
09-17
deep-reinforcement-learning-networks, 一种用于强化学习任务的深层神经网络结构 深层强化学习网络一种用于强化学习任务的深层神经网络结构。纸域模型架构源代码Mnih等，2013AtariDQN ( 缩略图版本)第一个 conv 层：16个滤波器，带步步 4的8个 ×8. 第二层：32个滤波器，带步步
action-branching-agents：深度强化学习的新篇章
gitblog_00869的博客
04-01 976
action-branching-agents：深度强化学习的新篇章 在深度强化学习的领域，如何有效处理高维度动作空间一直是一个挑战。今天，我们将为您介绍一个开源项目——action-branching-agents，它为解决这一问题提供了一个创新的解决方案。 项目介绍 action-branching-agents 是一个基于深度强化学习的开源项目，它将动作分支架构（Action Branchi...
转自知乎，深度强化学习论文https://zhuanlan.zhihu.com/p/23600620
zxx650的博客
06-06 7981
一. 开山鼻祖DQN1. Playing Atari with Deep Reinforcement Learning，V. Mnih et al., NIPS Workshop, 2013.2. Human-level control through deep reinforcement learning, V. Mnih et al., Nature, 2015.二. DQN的各种改进版本（侧...
【5分钟 Paper】Dueling Network Architectures for Deep Reinforcement Learning
小小何先生的学习之旅
02-23 959
论文题目：Dueling Network Architectures for Deep Reinforcement Learning 所解决的问题？   主要贡献是提出了一种新的应用于强化学习的神经网络框架。 背景   之前对强化学习的改进主要是集中在对现有的网络结构的改变，像什么引入卷积神经网络，LSTM和Autoencoder这些。而这篇文章是提出了一种新的神经网络结构更好地去适应mod...
Dueling Network Architectures for Deep Reinforcement Learning（Dueling-DQN）
小蚂蚁与大象
09-01 1445
为了实现这一见解，我们设计了一个单一的Qnetwork架构，如图1所示，我们将其称为决斗网络。与原始的dqn一样，决斗网络的较低层是卷积的(Mnih等人，2015)。然而，我们不是使用一个全连接层的序列来跟踪卷积层，而是使用两个全连接层的序列(或流)。在一些州，最重要的是知道采取什么行动，但在许多其他州，选择行动对发生的事情没有任何影响。我们的结果表明，在存在许多相似价值的行动的情况下，这种架构可以带来更好的策略评估。此外，决斗架构使我们的RL智能体在Atari 2600领域的性能超过了最先进的技术。
论文笔记：Dueling Network Architectures for Deep Reinforcement Learning
彩虹糖的博客
09-17 955
题目：Dueling Network Architectures for Deep Reinforcement Learning 来源：ICML 2016 Best Paper 摘要 在最近几年中，在强化学习中使用深度学习的表示取得了很大的成功。这些应用依然使用了比较传统的架构。比如卷积网络，LSTM或者自动编码器。在本文中，作者提出了一个新的用于model free强化学习的神经网络...
RL论文阅读【三】Dueling Network Architectures for Deep Reinforcement Learning
taoyafan的博客
06-03 3182
1 废话 这篇论文就是介绍我们常说的 Dueling DQN，在我心中一直以为和 Double DQN 是平行的两种技术，所以也没怎么想就看这篇论文了，但是看了才发现，原来这篇论文中提到了 Double DQN，而且可以应用于 Double DQN，而且同时还用到的 Prioritized replay，所以正确的阅读顺序应该是先看 Double DQN 和Prioritized experi...
Dueling Network Architectures for Deep Reinforcement Learning
coszhuang的博客
05-08 1096
在摘要部分，论文介绍了强化学习在处理高维状态空间和大规模动作空间的挑战，以及目前深度强化学习算法在这些问题上的局限性。然后，论文提出了Dueling Network架构，并表示该架构能够有效地解决这些问题。在背景部分，论文对强化学习、Q学习和深度Q网络进行了简要介绍。并且指出，传统的Q学习算法在面对大规模动作空间时，很难准确估计每个动作的Q值。此外，由于普通Q网络直接计算每个动作的Q值，它们没能学习到动作对于价值的影响。
论文笔记之：Dueling Network Architectures for Deep Reinforcement Learning
a1424262219的博客
10-02 760
Dueling Network Architectures for Deep Reinforcement Learning ICML 2016 Best Paper 　 摘要：本文的贡献点主要是在 DQN 网络结构上，将卷积神经网络提出的特征，分为两路走，即：the state value function 和 the state-dependent action a...
强化学习的学习之路（二十一）_2021-01-21： Dueling DQN（Dueling networkarchitectures for deep reinforcement learning)
热爱可抵漫长岁月
02-25 638
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
PyTorch强化学习实战（15）——Dueling DQN
最新发布
盼小辉丶的博客
06-22 388
本文介绍了 Dueling DQN 的核心思想——将Q网络分解为状态价值流和动作优势流，通过显式建模两者关系提升学习效率。从经典 DQN 的局限性出发，详细解析了 Dueling Network 的架构设计、数学原理及实现细节，并通过减去优势均值的技巧确保网络正确学习。实验结果表明，该架构相比经典 DQN 具有更快的收敛速度，且优势值稳定在零均值附近，验证了设计的有效性。
Dueling Network
然后就去远行
08-06 849
从图9中可以看出，在传统DQN中，DQN的神经网络直接输出Q函数的值，即某个状态下不同动作对应的动作价值，输出层的前一层是全连接层。Dueling Network对DQN的结构改进主要在全连接层上，它在全连接层和输出层之间进行修改，将全连接层改为两条流，其中一条输出关于状态的价值，另外一条输出关于动作的优势函数的值，最终将两条流合并得到Q动作价值。所以优势函数表示的是当前动作值函数相比于当前状态值函数的优势，如果优势值大于零，表示当前动作比平均动作好，如果优势函数值小于0，表示当前动作比平均动作差。
经典论文合集
qq_42378281的博客
02-08 282
优化器： An overview of gradient descent optimization algorithms
ICML2016最佳论文《深度强化学习的竞争网络架构》
张天师的专栏
07-16 3820
获本年度ICML最佳的三篇论文如下：Monday – Ballroom 3+4 – 12:04 – Dueling Network Architectures for Deep Reinforcement Learning Ziyu Wang Google Inc., Tom SchaulGoogle Inc., Matteo HesselGoogle Deepmind, Hado van Has
深度学习算法索引（持续更新）
weixin_30640291的博客
08-02 161
https://zhuanlan.zhihu.com/p/26004118 机器学习最近几年发展如同野兽出笼，网上的资料铺天盖地。学习之余建立一个索引，把最有潜力(不求最全)的机器学习算法、最好的教程、贴近工业界最前沿的开源代码收录其中。个人能力有限，希望知友指正和补充。 Model篇 1. Reinforcement Learning 领军人物：david silver 教程 2...
深度强化学习 Deep Reinforcement Learning
无无
07-12 1891
深度强化学习
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值