DRL 教材 Chpater 11 --- 政策梯度方法（Policy Gradient Methods）
前面介紹了很多關于 state or state-action pairs 方面的知識，為了将其用于控制，我們學習 state-action pairs 的值，并且将這些值函數直接用于執行政策和選擇動作．這種形式的方法稱為：action-value methods.
下面要介紹的方法也是計算這些 action (or state) values，但是并非直接用于選擇 action, 而是直接表示該政策，其權重不依賴于任何值函數．
1.1 Actor-Critic Methods.
Actor-critic methods 是一種時序查分方法（ＴＤ），有一個獨立的記憶結構來顯示的表示政策，而與 value function 無關．該政策結構稱為：actor，因為其用于選擇動作，預測的值函數被稱為：critic，因為其用于批判 actor 執行的動作．學習是on-policy的: the critic must learn about and critique whatever policy is currently being followed by the actor. The critique takes the form of a TD error. 尺度信号是單純的 critic 的輸出，并且引導 actor and critic 的學習，像下圖所示：
Actor-critic methods 是 gradient-bandit methods自然的拓展到 TD-learning和全部的 RL 學習問題. 通常情況下， the critic 是狀态－值函數．再一次的動作選擇之後，the critic 評價新的政策來檢測是否事情朝着期望的方向發展．評價通常是根據 ＴＤ error 得到的：
其中，$V_t$是第 t 時刻 the critic 執行的值函數，TD error可以被用來評價剛剛選擇的 action，在狀态$S_t$下選擇的動作$A_t$．是否ＴＤ error是 positive的，這表明若是，則會在将來加強選擇該動作的趨勢，若是負的，則會降低選擇該動作的優先級．假設動作是由 the Gibbs softmax method 産生的：
其中，$H_t(s, a)$是在第 t 時刻由政策參數可改變的 actor 的值，表示在時刻 t 狀态 s 下選擇每一個動作 a 的趨勢（preference）．通過增加或者減少 $H_t(S_t, A_t)$ 來調整上述選擇，即：
其中 $\beta$是另一個正的步長參數．
這僅僅是 actor-critic method 的案例，另一個變種用另一種方式來選擇動作，或者 eligibility traces．另一個共同的地方，像強化對比方法，是為了包括額外的因子來改變證據的量(is to include additional factors varying the amount of credit assigned to the action taken, $A_t$)．比如，一個通用的像這樣的因子是和選擇動作$A_t$相反的關系，得到如下的更新法則：
許多最早的強化學習系統利用的TD方法是 actor-critic methods. 然後，更多的注意力被放在學習動作－值函數(action-value functions) 和 從估計的值來充分的決定一個政策（例如：Sarsa and Q-learning）．這個分化也許僅僅是一個曆史的偶爾．例如：你可能會想到中間的結構，an action-value function 和 an independent policy 将會被學到．在任何事件當中，actor-critic methods 是為了保持目前的興趣，由于兩個特别明顯的優勢：
１．他們需要最小的計算量來達到選擇動作的目的．考慮一種情況，有許多有限的可能的選擇－－－例如，一個 continuous-valued action．任何方法僅僅學習動作值(action values)必須搜尋這個有限的結合，進而實作選擇 action 的目的．如果該policy是顯示的存儲的，接着，對于每一個動作選擇可能不需要如此的計算量．
２．他們可以學習一個顯示的随機政策；即，他們可以學習選擇不同 actions 的最優機率．這個能力被證明在競争和non-Markov cases 是非常有效的．
此外，在 actor-critic methods 不同的 actor 會使得他們在一些領域更有吸引力，如：生物模型．在一些領域中，可能也更加簡單的在允許的政策結合上進行特定領域的限制．
11.2 Eligibility Traces for Actor-Critic Methods