阿爾法零對最優模型預測自適應控制的啟示 Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control

賈慶山，清華大學長聘教授。主要研究信息物理融合能源系統的優化理論與方法。發表四十篇IEEE匯刊論文。獲得2009年國家自然科學獎二等獎、2018年國家自然科學獎二等獎、2020年自然科學獎二等獎，多次獲得國際期刊、國際會議最佳論文獎。擔任IEEE Internet of Things Activity Board委員、IEEE控制系統協會Board of Governors委員、IEEE控制系統協會北京分會主席、IEEE機器人與自動化協會智能建築專業委員會副主席、IFAC智慧城市控制專業委員會主席。曾任IEEE控制系統協會離散事件系統專業委員會主席。擔任中國自動化學會第十一屆控制理論專業委員會委員兼副秘書長，中國自動化學會第一屆工業控制系統信息安全專業委員會委員。

目錄

第 1 章 阿爾法零、離線訓練和在線學習 1 

1.1 離線訓練和策略疊代 3 

1.2 在線學習與值空間近似——截斷滾動 4 

1.3 阿爾法零的經驗  6 

1.4 強化學習的一種新概念框架  8 

1.5 註釋與參考文獻  9 

第 2 章 確定性和隨機的動態規劃 13 

2.1 無限時段上的最優控制 14 

2.2 值空間近似 18 

2.3 註釋與參考文獻 . 21 

第 3 章 強化學習的抽象視角  22 

3.1 貝爾曼算子 23 

3.2 值空間近似和牛頓法  28 

3.3 穩定域 32 

3.4 策略疊代、滾動和牛頓法 36 

3.5 在線對弈對於離線訓練過程有多敏感？ 41 

3.6 何不直接訓練策略網絡並在使用時摒棄在線對弈呢？  43 

3.7 多智能體問題和多智能體滾動  44 

3.8 在線簡化策略疊代  47 

3.9 例外情形 52 

3.10 註釋與參考文獻 57 

第 4 章 線性二次型情形——例證 59 

4.1 最優解 60 

4.2 穩定線性策略的費用函數 61 

4.3 值疊代 63 

4.4 單步和多步前瞻——牛頓步的解釋  64 

4.5 靈敏度問題 67 

4.6 滾動和策略疊代 . 69 

4.7 截斷滾動——前瞻長度問題 71

4.8 線性二次型問題中的例外行為  73 

4.9 註釋與參考文獻 . 74 

第 5 章 自適應和模型預測控制 75 

5.1 具有未知參數的系統——魯棒和 PID 控制  76 

5.2 值空間近似、滾動和自適應控制 . 78 

5.3 值空間近似、滾動和模型預測控制  81 

5.4 末端費用近似——穩定性問題  83 

5.5 註釋與參考文獻 . 87 

第 6 章 有限時段確定性問題——離散優化  88 

6.1 確定性離散空間有限時段問題  89 

6.2 一般離散優化問題  92 

6.3 值空間近似 95 

6.4 離散優化的滾動算法  98 

6.5 採用多步前瞻的滾動——截斷滾動 111 

6.6 約束形式的滾動算法  114 

6.7 使用部分可觀馬爾可夫決策問題模型滾動的自適應控制  124 

6.8 極小化極大控制的滾動 . 130 

6.9 小階段費用與長時段——連續時間滾動  136 

6.10 結語 142 

附錄 A 不動點問題的牛頓法  145 

A.1 可微不動點問題的牛頓法  145 

A.2 無須貝爾曼算子可微性的牛頓法 148 

參考文獻 152