深度強化學習

本書基於PyTorch框架，用通俗易懂的語言深入淺出地介紹了強化學習的基本原理，包括傳統的強化學習基本方法和目前流行的深度強化學習方法。在對強化學習任務建模的基礎上，首先介紹動態規劃法、蒙特卡洛法、時序差分法等表格式強化學習方法，然後介紹在PyTorch框架下，DQN、DDPG、A3C等基於深度神經網絡的大規模強化學習方法。全書以一個掃地機器人任務貫穿始終，並給出具有代表性的實例，增加對每個算法的理解。全書配有PPT和視頻講解，對相關算法和實例配有代碼程序。 全書共分三部分： 第一和第二部分（第1～8章）為表格式強化學習部分，著重介紹深度強化學習概述、環境的配置、數學建模、動態規劃法、蒙特卡洛法、時序差分法、n步時序差分法、規劃和蒙特卡洛樹搜索； 第三部分（第9～14章）為深度強化學習部分，著重介紹深度學習、PyTorch與神經網絡、深度Q網絡、策略梯度、基於確定性策略梯度的深度強化學習、AC框架的拓展。全書提供了大量的應用實例，每章章末均附有習題。 本書既適合作為高等院校電腦、軟件工程、電子工程等相關專業高年級本科生、研究生的教材，又可為人工智能、機器學習等領域從事項目開發、科學研究的人員提供參考。

劉全，蘇州大學教授，博士生導師。
 吉林大學博士, 南京大學軟件新技術國家重點實驗室博士後。
蘇州市人工智能學會常務理事、秘書長。 2006年開始從事強化學習
領域的教學和科研工作。
主講研究生、本科生《強化學習》及相關課程16次。主持“深度強化學習方法研究”、“部分感知強化學習理論及方法”、“基於tableau的邏輯強化學習研究”等國家、省部級項目10餘項。
目前主要研究方向為：深度強化學習。
2012年獲江蘇省教工委優秀員稱號。
2011年、2012年入選江蘇省“六大人才”、江蘇省“333”人才培養計劃。

第一部分：預備知識及環境安裝
第1章深度強化學習概述
1.1引言
1.2深度學習
1.3強化學習
1.4深度強化學習
1.5小結
1.6習題

第2章環境的配置
2.1PyTorch簡介
2.2PvTorch和TensorFlow
2.3強化學開發環境
2.3.1Anaconda環境搭建
2.3.2Anaconda環境管理
2.3.3PyTorch的安裝
2.3.4JupyterNotebook的安裝
2.3.5JupyterNotebook的使用
2.3.6Gym的安裝
2.3.7Gym案例
2.4小結
2.5習題

第二部分：表格式強化學習
第3章數學建模
3.1馬爾可夫決策過程
3.2基於模型與無模型
3.3求解強化學習任務
3.3.1策略
3.3.2獎賞與回報
3.3.3值函數與貝爾曼方程
3.3.4優策略與優值函數
3.4探索與利用
3.5小結
3.6習題

第4章動態規劃法
4.1策略迭代
4.1.1策略評估
4.1.2策略迭代
4.2值迭代
4.3廣義策略迭代
4.4小結
4.5習題

第5章蒙特卡洛法
5.1蒙特卡洛法的基本概念
5.1.1MC的核心要素
5.1.2MC的特點
5.2蒙特卡洛預測
5.3蒙特卡洛評估
5.4蒙特卡洛控制
5.4.1基於探索始點的蒙特卡洛控制
5.4.2同策略蒙特卡洛控制
5.4.3異策略與重要性採樣
5.4.4蒙特卡洛中的增量式計算
5.4.5異策略蒙特卡洛控制
5.5小結
5.6習題

第6章時序差分法
6.1時序差分預測
6.2時序差分控制圓
6.2.1Sarsa算法
6.2.2Q-Learning算法
6.2.3期望sarsa算法
6.3大化偏差與DoubleQ-Learning
6.3.1大化偏差
6.3.2DoubleQ-Learning
6.3.3DoubleQ-Learning
DP、MC和TD算法的關係
.1窮舉式遍歷與軌跡採樣
.2期望更新與採樣更新
6.5小結
6.6習題

第7章n-步時序差分法
7.1.ln-步TD預測及資格跡回
7.1.1n-步TD預測
7.1.2前向TD(λ)算法
7.1.3後向TD(λ)算法
7.2n-步TD控制及其資格跡實現
7.2.1同策略n-步Sarsa算法
7.2.2Sarsa(λ)算法
7.2.3異策略n-步Sarsa算法
7.2.4n-步TreeBackup算法
7.3小結
7.4習題

第8章規劃和蒙特卡洛樹搜索
8.1模型、學習與規劃回
8.1.1模型
8.1.2學習
8.1.3規劃
8.2Dyna-Q結構及其算法改進回
8.2.1Dyna-Q架構
8.2.2優先遍歷
8.2.3模擬模型的錯誤性
8.3決策時間規劃
8.3.1啟發式搜索
8.3.2預演算法
8.3.3蒙特卡洛樹搜索
8.4小結
8.5習題

第三部分：深度強化學習
第9章深度學習
9.1傳統神經網絡圓
9.1.1感知器神經元
9.1.2激活函數
9.2反向傳播算法
9.2.1前向傳播
9.2.2權重調整
9.2.3BP算法推導
9.3卷積神經網絡
9.3.1卷積神經網絡核心思想
9.3.2卷積神經網絡結構
9.4小結
9.5習題

第10章PyTorch與神經網絡
10.1PyTorch扣的Tensor
10.1.1直接構造法
10.1.2間接轉換法
10.1.3Tensor的變換
10.2自動梯度計算
10.2.1標量對標量的自動梯度計算
10.2.2向量對向量的自動梯度計算
10.2.3標量對向量(或矩陣)的自動梯度計算
10.3神經網絡的模型搭建和參數優化
10.3.1模型的搭建
10.3.2激活函數
10.3.3常用的損失函數
10.3.4模型的保存和重載
10.4小結
10.5習題

第11章深度Q網絡
11.1DQN算法
11.1.1核心思想
11.1.2訓練算法
11.1.3實驗結果與分析
11.2DoubleDQN算法
11.2.1核心思想
11.2.2實驗結果與分析
11.3PrioritizedDQN
11.3.1核心思想
11.3.2訓練算法
11.3.3實驗結果與分析
11.4DuelingDQN
11.4.1訓練算法
11.4.2實驗結果與分析
11.5小結
11.6習題

第12章策略梯度法
12.1隨機策略梯度法
12.1.1梯度上升算法
12.1.2策略梯度法與值函數逼近法的比較
12.2策略優化方法
12.2.1情節式策略目標函數
12.2.2連續式策略目標函數
12.2.3策略梯度定理
12.3策略表達形式
12.3.1離散動作空間策略參數化
12.3.2連續動作空間策略參數化