Trust Region Policy Optimization 論文閱讀與理解

本文主要討論兩個目標：1. 如何讓目標函數（total reward）在policy更新時是持續遞增的。2. 如何讓policy在更新後的「行爲」與更新前相似，而不是「參數」相近，因爲參數相近的兩個模型行爲上可能有很大差別。第二個目標也是爲了保證更新時的穩定性，因爲參數上的「一小步」走錯了可能導致整個模型崩潰。爲此需要在行爲上在與舊的policy行爲有一定相似程度的情況下進行更新。這個一定的相似程

>>阅读原文<<