【強化學習RL】model-free的prediction和control — MC, TD(λ), SARSA, Q-learning等

本系列強化學習內容來源自對David Silver課程的學習 課程連接http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html

　　在上一文介紹了RL基礎概念和MDP後，本文介紹了在model-free狀況下（即不知道回報Rs和狀態轉移矩陣Pss'），如何進行prediction，即預測當前policy的state-value function v(s)從而得知此policy的好壞，和進行control，即找出最優policy（即求出q*(s, a)，這樣π*(a|s)就能夠馬上知道了）。

　　在prediction部分中，介紹了Monto Carlo(MC)，TD(0)，TD(λ)三種抽樣(sample)估計方法，這裏λ的現實意義是隨機sample一個state，考慮其以後多少個state的價值。當λ=0即TD(0)時，只考慮下一個狀態；λ=1 時幾乎等同MC，考慮T-1個後續狀態即到整個episode序列結束；λ∈(0,1)時爲TD(λ)，能夠表示考慮後續非這兩個極端狀態的中間部分，即考慮後面n∈(1, T-1)個狀態。同時，prediction過程又分爲online update和offline update兩部分，即便用當前π得到下一個狀態的回報v(s')和優化policy π是否同時進行。

　　在control部分中，介紹瞭如何尋找最優策略的方法，即找到q*(s, a)。分紅on-policy和off-policy兩部分，即沒有或者是參考了別人的策略（好比機器人經過觀察人的行爲提出更好的行爲）。在on-policy部分，介紹了MC control、SARSA、SARSA(λ)三種方法，off-policy部分介紹了Q-learning的方法。

具體都會在下面正文介紹。

目錄：

1、model-free的prediction

　　1. Monto Carlo(MC) Learning

　　2. Temporal-Difference TD(0)

　　3. TD(λ)

2、model-free的control

　　1. on-policy的Monto Carlo(MC) control

　　2. on-policy的Temporal-Difference(TD) Learning - SARSA和SARSA(λ)

　　3. off-policy的Q-learning

 

1、model-free的prediction

　　Prediction 部分的內容，所有都不涉及action。由於是衡量當前policy的好壞，只須要估計出每一個狀態的state-value function v(s)便可。上一文中介紹了使用Bellman Expectation Equation求得某個狀態v(s)的數學指望，能夠用動態規劃DP進行遍歷所有狀態求得。可是這樣的效率是很是低的，下面介紹了兩種用sample採樣的方法獲取v(s)。

1. Monto Carlo(MC) Learning

　　Monto Carlo是一個常常會遇到的詞，它的核心思想是從狀態st出發隨機採樣sample至得到不少個完整序列，能夠得到完整序列的實際收益，從而取平均值就是v(st)。須要注意的是，MC只能用於terminate的序列（complete）中。

　　在MC sample的過程當中，每一個狀態點值函數，每次遍歷N(s)+=1，S(s)爲總回報每次S(s)+=Gt，這樣當時，，所求的平均值V(s)就接近真實值Vπ(s)。在得到完整序列的過程當中，極可能會遇到環，即一個狀態點通過屢次，對此MC有兩種處理方法，first step（只在第一次通過時N(s)+=1）和every step（每次通過這個點都N(s)+=1）。

　　V(s)能夠看作全部通過s的回報Gt取平均值產生，可是平均值計算不只能夠求和再除法，還能夠經過在已有的平均值上加一點差值得到，就是下面左式的形式。但這樣來看，須要一直維護一個N(s)計數器，真正優化時只須要知道一個優化的方向便可，因此用一個(0,1)常數α來代替1/N(St)，即下面右式的形式。 α的現實意義是一個遺忘係數，即不須要對全部sample出的序列都記得很清楚。

              

2. Temporal-Difference TD(0)

　　Monto Carlo採樣有一個很明顯的缺點，就是必需要sample出完整的序列才能觀測出這個序列獲得的回報是多少。可是TD(0)這種方法就不須要，它利用Bellman Equation，當前狀態收益只和及時回報Rt+1和下一狀態收益有關（以下式），紅色部分爲TD target，α右邊括號內爲TD error。因此TD(0)只sample出下一個狀態點St+1，用已有的policy計算出Rt+1和V(St+1)，這種用已知來作估計的方法叫作bootstrapping，而MC是觀測的實際值，是沒有bootstrapping的。因爲只須要sample出下一個狀態，因此能夠用於non-terminate序列中（incomplete）。

 　　同MC比較，TD(0)採用已有policy預測出TD error，和MC的實際值相比有更大的誤差，可是TD(0)只須要sample出下一個狀態序列而不是MC的完整序列，因此TF(0)預測得到的方差比MC小。

　　具體對v(s)的計算舉例以下，進行8次sample，不考慮discount factor γ，下圖得到的V(A)和V(B)分別是什麼？

　　　　　　　　

　　能夠看出，不管是TD仍是MC，v(B)都是取平均值計算出來的0.75，可是經過MC算出的V(A)是0，TD(0)算出來的是0.75。這一點來看，TD算法更可以利用Markov特性，可是隻sample下一個狀態點，因此比MC更shallow一些。下圖顯示了計算指望所有遍歷的動態規劃DP算法，sample採樣下一個狀態TD(0)算法，和sample出完整序列T-1個狀態的MC算法相互間的關係，可是在1和T-1之間的諸多點，也能夠sample考慮，這就是更通常的表達TD(λ)。

　　　　　　　　

3. TD(λ)

　　這裏λ是一個∈[0,1]的實數，它決定了須要採樣以後的多少個狀態點n，n從1到無窮大的簡略表達以下，可是如何用一個實數λ來控制n呢？這裏用了一個加權係數的表達，∑λ^n = 1/（1-λ），因此右式的∑=1，而且λ=0時，與TD(0)的函數表達相同。

 

　　這裏TD的sample分紅了forward-view（下圖左）和backward-view（下圖右）兩部分。forward-view就是剛剛敘述的日後sample n個狀態點，backward是在sample的過程當中，每一步都更新地維護一個Eligibility Trace，成爲最後對平均值更新的權重。

   

 　　這裏的Eligibility Trace（下面左式），相似於青蛙跳井，每跳一下會升高，不跳的話就逐漸掉下去，既結合了frequency heuristic（跳幾下），又結合了recency heuristic（何時跳的）。而這裏的「跳」，就至關於通過狀態所求點s，這樣backward-view的值函數更新就能夠寫成下面右式的形式。當λ=0時，只有在通過s時Et(s)才爲1，下面右式 結果同TD(0)表達相同；當λ=0時，整個序列中的每個狀態點有eligibility trace值會被考慮，能夠看作MC。

　　　        

　　當序列環境是offline update時，即全部sample過程當中不改變policy，forward-view和backward-view相同（見下式，左邊能夠化簡到右邊的形式），而且TD error能夠化爲λ-error的形式。

　       

　　同時，TD(1)徹底等同於MC。下面式子能夠看出，λ=1時，Et(s)=γ^t-k，連續的TD error求和，爲，便可看做一直sample出完整序列T-1的MC error。

　　　　

　　當序列環境是online update時，即邊sample邊優化policy，backward-view就會一直累積一個error，以下，因此若是訪問s屢次，這個error就會變得很大。

　　　　

 　　總結的一個表格以下：

　　　　

2、model-free的control

　　這裏on-policy能夠看作「learn on the job」，即對本身行爲的反思優化；off-policy能夠看作「look over someone‘s shoulder’」，即經過觀察其餘agent的行爲提出優化。

　　在尋找最優policy過程當中，能夠看作policy evaluation和policy improvement兩部分，一種最基礎的貪心算法作improvement以下圖。每次V經過當前策略π作evaluation，以後策略π再greedy找尋更優的值函數對應狀態，這樣能夠保證v和π最終都向最優V*和π*收斂。

　　   

 

 

　　下面介紹的幾種方法都是基於這個evaluation和improvement框架進行展開，只不過是model-free的，沒有狀態轉移矩陣P的相關值沒法進行的推導，因此只能用action-value函數q(s, a)，經過對policy進行優化。

　　而且，對於下面介紹的sample方法進行policy evaluation來講，單純用greedy算法並不許確，由於極可能某狀態在一個action下會有更高回報，但是正好沒有sample到這個更高回報值，該條路徑就會被忽略，陷入局部最優解。因此這裏又提出使用ε-greedy代替絕對的greedy算法（ε∈[0,1]），變得更soft，每次1-ε機率選擇所知最優的action，ε在全部action集合中隨機選擇，以下面左式，下面右式證實可得，採用ε-greedy得到的Vπ'(s)≥Vπ(s)，總體向更優策略方向走。

 

 

 

 

 

　　很簡單的方法，但能夠explore更大的state space，得到更全局的最優解。

 

 1. on-policy的Monto Carlo(MC) control

　　採用MC方法估計action-value function，而後使用ε-greedy作策略優化。但這裏在原始MC control基礎上能夠作優化，即每次不須要估計出很精確的qπ，只須要Q ≈ qπ便可，再在Q上作優化，仍舊是朝向着最優q*的方向前進的。

　　　　

 

 待填坑。。