DDQN

红色线表示DQN估计的Q值，发现都会比真实的Q值要高很多，那么是为什么会Q值会被高估？

假设现在有4个状态动作对，他们真实的Q值其实是相差不大的，但是因为在学习过程中，Q值是一个估计值，总会有状态动作对的Q值会被高估，此时被高估的Q值就会被选择出来当做target。

解决方法就是用两个Q值函数（一个是当前的值网络，一个是target网络），一个用作动作的选择，一个用作target Q值的估计。这样当Q值被高估后，选出相应的动作，但只要[公式] 不高估就行。另外一种情况是如果 [公式] 被高估，但是此时被高估的动作也不会被选择到（选择动作是根据另一个Q值选的）。

Dueling DQN

其实就是将输出Q值改为输出V值和A值。

那么这样有什么好处呢？

假设有两个Q值都希望+1，现在只能动V值和A值。现在可以让V值+1，那么所有的状态动作Q值都会改变，这样就不需要采样到所有状态动作对来更新所有的Q值，提高了样本的利用率。另外，必须对A值加constraint，使得网络更新A值会比较复杂，而去倾向于更新V值。常做的方式是将一个动作的所有A值加起来为0。

计算Q值的时候（V+A），先将A值做归一化。

Prioritized Reply

之前是从样本池中随机抽取一个batch训练数据，现在可优先选取TD误差较大的样本。TD误差较大的样本训练价值更高，梯度会更大。

Multi-step

可结合使用MC和TD更新方法，之前DQN方法是存储一个时间步的转移样本 :[公式] ，现在存储N个时间步的转移样本。好处：sample多个step的转移样本，Q的估计值的准确性会提高，但是多个时间步的采样会导致方差变大。

Noisy Net

之前为了探索在动作上加noise，现在可以在网络参数上加noise。须注意的是noise必须在每个新的episode开始时加入，并且在每个episode期间没有动作的探索。

epsilon greedy方法会有一个问题：在同个state下，可能会执行不同的动作。但是现实场景中合理的做法应该是同个state采取同一个action。Noisy net就会在同个episode中的同个state下，执行相同的动作。

Distributional Q-function

其实Q（s,a）的值是有一个分布的，不同的分布可能会有同样的mean均值（当做Q值）。所以用Q来表示未来期望总奖赏会丢失一些信息。

直接输出每个状态动作对的Q值的分布，这样可以根据Q值分布获得很多额外信息，比如可根据动作Q值的分布的熵来决定要不要采取该动作？？

Rainbow
结合上述的几个tips

可发现，multi-step和priority比较有用。

参考文献：

https://www.bilibili.com/video/av24

本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/72994607

创作场景

李宏毅深度强化学习课程：Deep Q-learning Advanced Tips