機器學習基礎 建模與問題求解

金升淵

首爾大學計算機工程系畢業，在佐治亞理工學院研究針對高效能文本表達學習的機器學習，
並獲得計算機科學碩士和博士學位。現在谷歌Research任職，主要研發移動環境下的機器學習。

鄭榮朱

首爾大學計算機工程與考古美術史學雙學位，通過數據挖掘電算分析講座體驗到機器學習的無限可能後，
進入東京大學研究利用機器學習識別垃圾網頁，並獲得碩士和博士學位。
此後在日本電商樂天集團從事數據分析和詐騙探測，在斯坦福大學結束為期一年的訪問研究後，
目前在樂天集團美國分公司負責數據分析。  

第一部分機器學習基礎知識

第1章開始機器學習2
1．1機器學習簡介2
1．2理解機器學習的背景知識3
1．2．1數學（線性代數、微分、統計和概率） 3
1．2 ．2編程4
1．3機器學習發展史4
1．3．1機器學習的歷史與現狀4
1．3．2機器學習的三大學派6
1．4機器學習的分類7
1．4．1監督學習、無監督學習、強化學習8
1．4．2監督學習的詳細分類9
1．4．3無監督學習詳細分類10
1．4．4深度學習11
1．5小結11

第2章機器學習主要概念12
2．1模型：觀察問題的角度12
2．1．1模型的定義13
2．1．2簡單模型14
2．1．3複雜模型15
2．1．4結構模型16
2．1．5好模型的定義17
2．2損失函數：模型的公式化學習目標19
2．2．1算術損失函數20
2．2．2概率損失函數21
2．2．3排序損失函數23
2．2．4模型複雜度與相關損失函數24
2．3優化：實際訓練的方法25
2．3．1梯度下降法26
2．3．2牛頓/擬牛頓法28
2．3．3隨機梯度下降法28
2．3．4反向傳播30
2．3．5最新的優化方法31
2．4模型評估：實際運用中的性能評估方法31
2．4．1模型的泛化特徵評估31
2．4．2準確率32
2．4．3精確率與召回率33
2．4．4排序評估34
2．5小結35

第二部分機器學習的主要模型

第3章數據與問題38
3．1數據類型38
3．1．1文本數據38
3．1．2數值數據39
3．1．3圖像數據39
3．1．4音頻數據40
3．1．5混合數據40
3．2數據量與數據質量40
3．2．1數據量與機器學習的相關性40
3．2．2數據質量與機器學習的相關性41
3．3數據標準化42
3．3．1數值數據標準化42
3．3．2分類數據標準化44
3．3．3序數數據標準化44
3．4問題類型45
3．4．1回歸45
3．4．2分類46
3 ．4．3聚類問題46
3．4．4表徵學習（嵌入學習） 47
3．5小結48

第4章利用購買歷史數據構建用戶群49
4．1聚類49
4．2 K中心點聚類50
4．3層次聚類53
4．4基於密度的聚類56
4．5計算相似度57
4．5．1閔氏距離58
4．5．2馬氏距離59
4．6小結61

第5章構建文本分析系統62
5．1構建文本分類系統62
5．1．1文本分類的常用特徵62
5．1．2利用特徵進行分類操作65
5．2主題建模69
5．3語法分析71
5．3．1詞性標註71
5．3．2命名實體識別74
5．4詞嵌入學習——word2vec 75
5．5小結78

第6章構建電影推薦系統79
6．1電影推薦系統79
6．2相似度運算80
6．2．1杰卡德係數80
6．2．2餘弦相似度81
6．2．3編輯距離82
6．3基於內容的推薦系統83
6．4協同過濾84
6．4．1均方根誤差85
6．4．2基於用戶/商品的協同過濾86
6．4．3隱因子模型87
6．5標準化90
6．6小結91

第7章構建圖像識別系統92
7．1圖像處理基本概念92
7．1．1像素92
7．1．2濾波93
7 ．1．3卷積95
7．2圖像識別97
7．2．1圖像分類98
7．2．2圖像檢測98
7．3用於圖像識別的特徵99
7．3．1輪廓線99
7．3 ．2角點100
7．3．3 SIFT 103
7．3．4主成分分析105
7．4利用深度學習進行圖像識別107
7．4．1關於CNN 107
7．4．2卷積層108
7． 4．3池化109
7．4．4激活函數110
7．4．5全連接層111
7．5小結112

第8章解決機器學習中的多種問題113
8．1模型問題113
8．1． 1過度學習113
8．1．2如何更輕鬆地找到好模型119
8．2數據問題121
8．2．1數據量過大121
8．2．2數據量過少123
8．2．3數據略微傾斜124
8．3速度問題126
8．3．1向量運算126
8．3．2機器學習高效運行系統128
8．3．3分佈式處理128
8．4小結129

第三部分機器學習系統應用

第9章機器學習軟件簡介132
9．1安裝Python與庫132
9．2著名數據庫簡介133
9．2．1機器學習庫133
9．2．2深度學習庫134
9．2． 3與計算相關的庫136
9．3本書使用的工具包136
9．3．1 Scikit-learn 137
9．3．2 TensorFlow 140
9．4小結151

第10章利用購買歷史數據構建用戶群——實戰152
10．1數據集152
10．2數據預處理153
10．3 K均值聚類160
10．4確定正確的簇數K 161
10．4．1定量評估161
10．4．2定性評估164
10 ．5分層聚類法168
10．6小結173

第11章構建文本分析系統——實戰174
11．1構建垃圾短信過濾器（文本分類） 174
11．1．1用於示例的數據處理174
11．1．2通過特徵分類179
11．2構建主題模型系統182
11．3構建詞性分析系統184
11．4構建專有名詞標記系統185
11．5小結187

第12章構建電影推薦系統——實戰188
12．1數據集188
12．2數據預處理189
12．3構建基於內容的電影推薦系統192
12．4構建基於協同過濾的電影推薦系統198
12 ．4．1實現奇異值分解198
12．4．2實現梯度下降法203
12．4．3評估近似結果205
12．5小結209

第13章構建圖像識別系統——實戰210
13．1圖像數據的K均值聚類210
13．2以主成分分析進行人臉識別213
13．3運用CNN進行手寫數字分類223
13．3．1生成特徵224
13．3．2訓練與測試228
13．4小結234