機器學習理論導引

周志華教授

南京大學計算機系主任、人工智能學院院長、校學術委員會委員。
歐洲科學院外籍院士。
人工智能相關五大主流國際學會ACM、AAAI、AAAS、IEEE、IAPR均入選Fellow的首位華人學者，
中國計算機學會、中國人工智能學會會士。
曾獲IEEE計算機學會Edward J. McCluskey技術成就獎、CCF王選獎等。
著有《機器學習》（清華大學出版社）等。

王魏

南京大學計算機系副教授。
主要研究方向為機器學習理論，曾獲中國計算機學會優秀博士學位論文獎、
江蘇省優秀博士學位論文獎、CCF青年人才發展計劃等榮譽。

高尉

南京大學人工智能學院副教授。
主要研究方向為機器學習理論，曾獲中國計算機學會優秀博士學位論文獎、江蘇省優秀博士學位論文獎等榮譽。

張利軍

南京大學計算機系副教授、博士生導師。
主要研究方向為大規模機器學習與優化，曾獲首屆達摩院青橙獎、
中國科協青年人才托舉工程、CCF青年人才發展計劃等榮譽。

前言
主要符號表
第1章預備知識……………………………………………………………… 1
1.1 函數的性質………………………………………………………………… 1
1.2 重要不等式……………………………………………………………… 5
1.3 最優化基礎……………………………………………………………… 9
1.4 支持向量機……………………………………………………………… 13
1.5 理論的作用……………………………………………………………… 18
1.6 閱讀材料………………………………………………………………… 19
習題……………………………………………………………………………… 21
參考文獻………………………………………………………………………… 22

第2章可學性……………………………………………………………… 25
2.1 基本概念…………………………………………………………………25
2.2 PAC學習…………………………………………………………………… 26
2.3 分析實例………………………………………………………………… 30
2.4 閱讀材料………………………………………………………………… 35
習題……………………………………………………………………………… 36

參考文獻……………………………………………………………………… 37

第3章複雜度……………………………………………………………39
3.1 數據分佈無關………………………………………………………… 39
3.2 數據分佈相關………………………………………………………… 46
3.3 分析實例……………………………………………………………… 50
3.4 閱讀材料…………………………………………………………………56
習題..……………………………………………………………………………… 58
參考文獻……………………………………………………………………… 59

第4章泛化界……………………………………………………………… 61
4.1 泛化誤差上界………………………………………………………… 61
4.2 泛化誤差下界………………………………………………………… 71
4.3 分析實例………………………………………………………………… 78
4.4 閱讀材料………………………………………………………………… 83
習題……………………………………………………………………………… 84
參考文獻……………………………………………………………………… 86

第5章穩定性​​…………………………………………………………… 89
5.1 基本概念………………………………………………………………… 89
5.2 重要性質………………………………………………………………… 92
5.3 分析實例………………………………………………………………… 98
5.4 閱讀材料………………………………………………………………… 107
習題……………………………………………………………………………… 108
參考文獻……………………………………………………………………… 110

第6章一致性…………………………………………………………… 113
6.1 基本概念……………………………………………………………… 113
6.2 替代函數……………………………………………………………… 117
6.3 劃分機制……………………………………………………………… 122
6.4 分析實例……………………………………………………………… 125
6.5 閱讀材料……………………………………………………………… 132
習題………………………………………………………………………… 134
參考文獻………………………………………………………………… 135

第7章收斂率…………………………………………………………… 137
7.1 基本概念……………………………………………………………… 137
7.2 確定優化……………………………………………………………… 139
7.3 隨機優化……………………………………………………………… 143
7.4 分析實例………………………………………………………………155
7.5 閱讀材料……………………………………………………………… 157
習題……………………………………………………………………………… 159
參考文獻……………………………………………………………………… 161

第8章遺憾界…………………………………………………………… 163
8.1 基本概念……………………………………………………………… 163
8.2 完全信息在線學習……………………………………………… 165
8.3 賭博機在線學習………………………………………………….170
8.4 分析實例……………………………………………………………184
8.5 閱讀材料…………………………………………………………… 188
習題…………………………………………………………………………… 189
參考文獻…………………………………………………………………… 191
索引………………………………………………………………………… 193