強化學習與機器人控制 Human-Robot Interaction Control Using Reinforcement Learning

在《強化學習與機器人控制》一書中，專家團隊不僅簡潔明瞭地描述了人機交互控制方案，還深入介紹了新穎的無模型強化學習控制器。本書首先簡述更先進的人機交互控制方案和強化學習，然後講解典型的環境模型，最後介紹一些更著名的參數估計識別技術。 　　《強化學習與機器人控制》提供了嚴謹的數學推理和演示，這有助於讀者理解控制方案和算法。書中還描述了人機交互控制和基於強化學習控制的穩定性和收斂性分析。另外，還討論了一些前沿話題，如逆運動學和速度運動學解決方案、神經控制以及機器人領域未來可能的發展趨勢。 ● 全面介紹基於模型的人機交互控制 ● 詳細研究基於歐拉角的無模型人機交互控制和“人機迴圈”機制控制 ● 實際討論機器人位置和力控制的強化學習以及機器人力控制的連續時間強化學習 ● 深入研究使用強化學習來控制最壞情況下不確定性的機器人，並使用多智能體強化學習對冗餘機器人進行控制

目  錄

 

 

 

第I部分

人機交互控制

 

第1章  介紹 2

1.1  人機交互控制 2

1.2  控制強化學習 5

1.3  本書的結構安排 6

第2章  人機交互的環境模型 10

2.1  阻抗和導納 10

2.2  人機交互阻抗模型 15

2.3  人機交互模型的識別 18

2.4  本章小結 25

第3章  基於模型的人機交互控制 26

3.1  任務空間阻抗/導納控制 26

3.2  關節空間阻抗控制 29

3.3  準確性和魯棒性 30

3.4  模擬 33

3.5  本章小結 38

第4章  無模型人機交互控制 39

4.1  使用關節空間動力學進行任務空間控制 39

4.2  使用任務空間動力學進行任務空間控制 47

4.3  關節空間控制 48

4.4  模擬 49

4.5  實驗 55

4.6  本章小結 65

第5章  基於歐拉角的迴路控制 67

5.1  引言 67

5.2  關節空間控制 68

5.3  任務空間控制 74

5.4  實驗 77

5.5  本章小結 89

 

第II部分

機器人交互控制的強化學習

第6章  機器人位置/力控制的強化學習 92

6.1  引言 92

6.2  使用阻抗模型的位置/力控制 93

6.3  基於強化學習的位置/力控制 96

6.4  模擬和實驗 104

6.5  本章小結 110

第7章  用於力控制的連續時間強化學習 111

7.1  引言 111

7.2  用於強化學習的K均值聚類 112

7.3  使用強化學習的位置/力控制 116

7.4  實驗 123

7.5  本章小結 129

 

第8章  使用強化學習在最壞情況下的不確定性機器人控制 130

8.1  引言 130

8.2  使用離散時間強化學習的魯棒控制 131

8.3  具有k個最近鄰的雙Q學習 135

8.4  使用連續時間強化學習的魯棒控制 142

8.5  模擬和實驗：離散時間情況 146

8.6  模擬和實驗：連續時間情況 154

8.7  本章小結 162

第9章  使用多智能體強化學習的冗餘機器人控制 163

9.1  引言 163

9.2  冗餘機器人控制 164

9.3  冗餘機器人控制的多智能體強化學習 169

9.4  模擬和實驗 174

9.5  本章小結 179

第10章  使用強化學習的機器人  2神經控制 180

10.1  引言 180

10.2  使用離散時間強化學習的  2神經控制 181

10.3  連續時間的 2神經控制 196

10.4  示例 209

10.5  本章小結 219

第11章  結論 220

附錄A  機器人運動學和動力學 222

附錄B  強化學習控制 235