为什么你的强化学习Reward曲线像心电图？从UAV集群论文看方差控制方法

为什么你的强化学习Reward曲线像心电图？5种方差失控根源与稳定策略

看着训练过程中上下跳动的Reward曲线，是不是感觉像在监测AI的"心脏健康"？这种"心电图式"波动背后，往往隐藏着强化学习系统深层次的不稳定因素。以无人机集群协同覆盖任务为例，当20架无人机需要在复杂地形中自主决策时，Reward曲线的剧烈波动直接反映了智能体对环境的"理解焦虑"。

1. Reward曲线波动的五种典型病理分析

1.1 探索与开发的失衡：贪婪算法的双刃剑

在SDQN-nD算法的实验数据中，我们观察到其Reward方差显著高于标准SDQN。这源于移除地形先验知识后，智能体像无头苍蝇般随机探索。典型的症状包括：

• 初期奖励突增后快速崩塌
• 相邻训练周期出现>30%的回报波动
• 整体趋势呈锯齿状上升

# 典型ε-greedy策略实现中的陷阱
epsilon = max(0.01, 0.5 * (1 / (1 + math.exp(episode / 100))))  # 衰减过快导致后期探索不足

提示：当发现曲线呈现"高峰-悬崖"模式时，建议采用动态衰减的Boltzmann探索策略替代固定ε值

1.2 奖励稀疏性：无人机集群的"信号丢失"

IEEE JSAC论文中的对比实验显示，在没有CNN特征提取的SDQN-nC版本中，单个无人机难以感知邻居状态，导致：