John Carmackby John Carmack · 长文AI评分：70/100

策略更替现象

作者提出，深度强化学习中的策略更替（policy churn）提供了隐式探索，其规模可能淹没显式探索方法，并导致泛化改进的假阴性结果。作者通过实验观察到，在Breakout中，样本动作因策略更替而在所有18个动作间跳变，且深度值函数的过度泛化导致所有样本变化幅度相似。作者认为，网络稀疏化可能减少策略更替，但需补充显式探索。