機器學習 工程師和科學家的第一本書 Machine Learning: A First Course for Engineers and Scientists

譯者序
謝
符號表
第1章?引?言1
1.1?機器學的範例1
1.2?關於本書8
1.3?拓展閱讀9
第2章?有監督學：第一個方法10
2.1?有監督機器學10
2.1.1　從有標記的資料中學10
2.1.2　數值型與分類型變數11
2.1.3　分類與迴歸11
2.1.4　在訓練資料之外進行泛化14
2.2　一個基於距離的方法：k-NN14
2.2.1　k-NN演算法14
2.2.2　分類器的決策邊界16
2.2.3　k的選擇17
2.2.4　輸入標準化19
2.3　一種基於規則的方法：決策樹20
2.3.1　學迴歸樹21
2.3.2　分類樹24
2.3.3　決策樹該多深？ 27
2.4　拓展閱讀29
第3章?基本參數模型與統計視角上的學30
3.1?線性迴歸30
3.1.1　線性迴歸模型30
3.1.2　用訓練資料訓練線性迴歸模型31
3.1.3　損失函數與代函數32
3.1.4　小平方法與正規方程式33
3.1.5　大似然視角35
3.1.6　分類型輸入變數36
3.2　分類與邏輯迴歸36
3.2.1　從統計角度看分類問題36
3.2.2　二元分類的邏輯迴歸模型38
3.2.3　透過大似然法訓練邏輯迴歸模型39
3.2.4　預測與決策邊界40
3.2.5　兩類以上的邏輯迴歸42
3.3　多項式迴歸與正規化44
3.4　廣義線性模型46
3.5?拓展閱讀48
3.A　正規方程式的推導49
3.A.1　微積分法49
3.A.2　線性代數方法49
第4章?理解、評估和提高性能51
4.1　預期的新資料錯誤：實際生產環境中的效能51
4.2　估計53
4.2.1　：我們無法從訓練資料中估計53
4.2.2　：我們可以從留的驗證資料中估計54
4.2.3　k-fold 交驗證：無須設定留驗證資料55
4.2.4　使用測試資料集57
4.3　的訓練誤差：泛化差距分解57
4.3.1　什麼影響泛化差距？ 58
4.3.2　在實際應用上降低61
4.3.3　模型複雜度的缺陷62
4.4　的偏差-變異數分解63
4.4.1　什麼影響偏差和變異數？ 65
4.4.2　偏差、變異數和泛化差距之間的關聯67
4.5　用於評估二元分類器的其他工具70
4.5.1　混淆矩陣和ROC曲線70
4.5.2　分數與確率-回想率曲線72
4.6　拓展閱讀73
第5章?學參數模型75
5.1 　參數化建模原則75
5.1.1　非線性參數函數75
5.1.2　損失小化作為泛化替代77
5.2 　損失函數與基於似然的模型78
5.2.1　迴歸中的損失函數79
5.2.2　二元分類中的損失函數80
5.2.3　多類分類83
5.2.4　基於似然的模型和大似然方法83
5.2.5　嚴格正確的損失函數和漸近小化器85
5.3 　正則化88
5.3.1　正則化88
5.3.2　正則化89
5.3.3　一般顯式正規化90
5.3.4　隱式正規化90
5.4 　參數化90
5.4.1　閉式解化92
5.4.2　梯度下降93
5.4.3　二梯度法96
5.5 　大型資料集化100
5.5.1　隨機梯度下降100
5.5.2　隨機梯度下降的學率與收斂度101
5.5.3　隨機二梯度法103
5.5.4　自適應方法103
5.6 　參數化103
5.7 　拓展閱讀105
第6章?經網絡和深度學106
6.1　經網路模型106
6.1.1　廣義線性迴歸106
6.1.2　雙層經網絡107
6.1.3　單元向量化108
6.1.4　深度經網109
6.1.5　資料點向量化110
6.1.6　用於分類的經網絡111
6.2　訓練經網路112
6.2.1　反向傳播113
6.2.2　初始化117
6.3　卷積經網118
6.3.1　影像的資料表示118
6.3.2　卷積層119
6.3.3　稀疏交互作用119
6.3.4　參數共享120
6.3.5　卷積層和步幅120
6.3.6　池化層121
6.3.7　多通道122
6.3.8　完整的CNN架構123
6.4　dropout124
6.4.1　子網路整合125
6.4.2　透過dropout訓練125
6.4.3　測試時的預測126
6.4.4　dropout和bagging126
6.4.5　將dropout作為正規化方法127
6.5　拓展閱讀127
6.A　反向傳播方程式的推導128
第7章?整合方法：bagging與提升方法129
7.1 　bagging方法129
7.1.1　自舉法131
7.1.2　以取平均值降低變異數132
7.1.3　外誤差估計135
7.2　隨機森林136
7.3　提升方法和AdaBoost138
7.3.1　AdaBoost140
7.3.2　AdaBoost的設計選擇145
7.4　梯度提升方法145
7.5　拓展閱讀149
第8章?非線性輸入變換和核子151
8.1　透過非線性輸入變換創造徵151
8.2　核嶺回歸153
8.2.1　對線性迴歸的重構153
8.2.2　核的主要思想155
8.3　支持向量迴歸158
8.3.1　更多核方法的預備工作：表示定理158
8.3.2　支持向量迴歸方法159
8.3.3　對於核函數在迴歸問題中的應用的總結162
8.4　核子理論162
8.4.1　核k-NN簡介162
8.4.2　核函數的意義164
8.4.3　選擇有效的核函數165
8.4.4　核函數的例子166
8.5　支援向量分類167
8.6　拓展閱讀171
8.A　表示定理171
8.B　支持向量分類的推導172
第9章?貝葉斯方法和高斯過程174
9.1　貝葉斯思想174
9.1.1　對於信念的一種表示175
9.1.2　間隔似然在模型選擇上的應用176
9.2　貝葉斯線性迴歸176
9.2.1　多元高斯分佈177
9.2.2　基於貝葉斯方法的線性迴歸177
9.2.3　與正則化線性迴歸的關聯181
9.3　高斯過程181
9.3.1　什麼是高斯過程？ 182
9.3.2　將核嶺迴歸擴展為高斯過程186
9.3.3　函數的非參數分佈188
9.3.4　對高斯過程採樣190
9.4　高斯過程的實際應用191
9.4.1　選擇核函數191
9.4.2　參數的調參192
9.5　機器學中的其他貝葉斯方法195
9.6　拓展閱讀 195
9.A　多元高斯分佈196
第10章?生成模型與無標記學198
10.1　高斯混合模型與判別分析198
10.1.1　高斯混合模型199
10.1.2　高斯混合模型的有監督學200
10.1.3　預測新輸入的輸出標籤：判別分析201
10.1.4　高斯混合模型的半監督學203
10.2　聚類分析208
10.2.1　高斯混合模型的無監督學208
10.2.2　k-均值聚類212
10.2.3　選擇集群的數量214
10.3　深層生成模型215
10.3.1　可逆的非高斯模型與標準化流216
10.3.2　生成對抗網路218
10.4　表示學與降維221
10.4.1　自動編碼器221
10.4.2　主成分分析223
10.5　拓展閱讀228
第11章?機器學的使用者視角229
11.1　定義機器學問題229
11.1.1　訓練、驗證與測試資料229
11.1.2　驗證和測試資料集的大小230
11.1.3　單一數字評估指標231
11.1.4　基線和可實現的性能水準231
11.2　改良機器學模型232
11.2.1　由淺入深232
11.2.2　調試模型232
11.2.3　訓練錯誤與泛化差距233
11.2.4　學曲線234
11.2.5　誤差分析235
11.2.6　訓練與驗證/測試資料不符237
11.3　如果我們不能收集更多的資料怎麼辦？ 238
11.3.1　以略有不同的資料擴充訓練資料238
11.3.2　資料增強239
11.3.3　遷移學239
11.3.4　從未標示資料中學240
11.4　實際資料問題241
11.4.1　異常值241
11.4.2　資料缺失241
11.4.3　徵選擇242
11.5?可以相信機器學模型嗎？ 243
11.5.1　理解為什麼要做出某種預測243
11.5.2　差情況證243
11.6?拓展閱讀244
第12章?機器學中的倫理學245
12.1　公平與誤差函數245
12.1.1　透過意識實現公平245
12.1.2　完全公平在數學上是不可能的246
12.2　關於性能的誤導性聲明248
12.2.1　刑事判決249
12.2.2　以一種可理解的方式解釋模型250
12.2.3　劍橋分析公司的例子252
12.2.4　醫學影像253
12.3　訓練資料的限制254
12.4　拓展閱讀257
參考文獻258