機器學習入門之道 机器学习入门之道

人工智能正在形成一股新的浪潮，它將從技術、經濟、社會等各個層面改變我們的工作和生活方式。作為實現人工智能的重要技術，機器學習正在受到人工智能專家之外的更廣泛人群的關註，想要瞭解機器學習相關知識和技術的人日益增多。
本書緊緊圍繞“機器學習的商業應用”這個主題，從數學原理上解釋了機器學習的一些基礎算法，如最小二乘法、最優推斷法、感知器、Logistic回歸、K均值算法、EM算法、貝葉斯推斷等。全書的主旨在於幫助讀者理解機器學習的本質，因此作者介紹具體的例題時，基本的著眼點是教會讀者使用什麽樣的思維方式，以及如何進行計算，為讀者探索更加復雜的深度學習領域或神經網絡算法打下堅實的基礎。

1971年4月生於日本大阪市。

現為Linux工程師，任職於知名的Linux發行商Red Hat，主要致力於推動Linux/OSS在企業系統中的應用。

從基於Linux/OSS的企業應用開發，到10000餘台Linux服務器的運維，再到私有云的設計和構建，他通過各種各樣的項目掌握了豐富的Linux編程經驗，並積極地將自己的經驗傳授給年輕的程序員們。

著作有《Linux系統網絡管理技術》《Linux系統架構和應用技巧》等。

第1章數據科學和機器學習1 
1.1數據科學在商業領域中的作用2 
1.2機器學習算法的分類8 
1.2.1分類：產生類判定的算法8 
1.2.2回歸分析：預測數值的算法9 
1.2. 3聚類分析：對數據進行無監督群組化的算法10 
1.2.4其他算法12 
1.3本書使用的例題13 
1.3.1基於回歸分析的觀測值推斷13 
1.3.2基於線性判別的新數據分類17 
1.3.3圖像文件的褪色處理（提取代表色） 18 
1.3.4識別手寫文字19 
1.4分析工具的準備20 
1.4.1本書使用的數據分析工具21 
1.4.2運行環境設置步驟（以CentOS 6為例） 22 
1.4.3運行環境設置步驟（以Mac OS X為例） 25 
1.4.4運行環境設置步驟（以Windows 7/8.1為例） 27 
1.4.5 IPython的使用方法30 

第2章最小二乘法：機器學習理論第一步35 
2.1基於近似多項式和最小二乘法的推斷36 
2.1.1訓練集的特徵變量和目標變量36 
2.1.2近似多項式和誤差函數的設置38 
2.1.3誤差函數最小化 件39 
2.1.4示例代碼的確認42
2.1.5統計模型的最小二乘法46 
2.2過度擬合檢出49 
2.2.1訓練集和測試集49 
2.2.2測試集的驗證結果50 
2.2.3基於交叉檢查的泛化能力驗證52 
2.2.4基於數據的過度擬合變化54 
2.3附錄：Hessian矩陣的特性56 

第3章最優推斷法：使用概率的推斷理論59 
3.1概率模型的利用60 
3.1.1 “數據的產生概率”設置60 
3.1.2基於似然函數的參數評價65 
3.1.3示例代碼的確認69 
3.2使用簡化示例的解釋說明73 
3.2.1正態分佈的參數模型74 
3.2.2示例代碼的確認76 
3.2.3推斷量的評價方法（一致性和無偏性） 78 
3.3附錄：樣本均值及樣本方差一致性和無偏性的證明80 
3.3.1樣本均值及樣本方差一致性和無偏性的證明81 
3.3.2示例代碼的確認85 

第4章感知器：分類算法的基礎89 
4.1概率梯度下降法的算法91 
4.1.1分割平面的直線方程91 
4.1.2基於誤差函數的分類結果評價93 
4.1.3基於梯度的參數修正95 
4.1 .4示例 碼的確認99 
4.2感知器的幾何學解釋100
4.2.1對角項的任意性和算法的收斂速度101 
4.2.2感知器的幾何學解釋103 
4.2.3對角項的幾何學意義104 

第5章Logistic回歸和ROC曲線：學習模型的評價方法107 
5.1對分類問題應用最優推斷法108 
5.1.1數據發生概率的設置108 
5.1.2基於最優推斷法的參數確定112 
5.1.3示例代碼的確認114 
5.2基於ROC曲線的學習模型評價117 
5.2 .1 Logistic回歸在實際問題中的應用118 
5.2.2基於ROC曲線的性能評價120 
5.2.3示例代碼的確認123 
5.3附錄：IRLS法的推導126 

第6章K均值算法：無監督學習模型的基礎133 
6.1基於K均值算法的聚類分析和應用實例134 
6.1.1無監督學習模型類聚類分析134 
6.1.2基於K均值算法的聚類分析135 
6.1.3在圖像數據方面的應用138 
6.1. 4示例代碼的確認141 
6.1.5 K均值算法的數學依據143 
6.2 “懶惰”學習模型K近鄰法146 
6.2.1基於K近鄰法的分類146 
6.2.2 K近鄰法的問題148 

第7章EM算法：基於最優 斷法的監督學習151
7.1使用伯努利分佈的最優推斷法152 
7.1.1手寫文字的合成方法153 
7.1.2基於圖像生成器的最優推斷法應用154 
7.2使用混合分佈的最優推斷法157 
7.2.1基於混合分佈的概率計算157 
7.2.2 EM算法的過程158 
7.2.3示例代碼的確認161 
7.2.4基於聚類分析的探索性數據解析165 
7.3附錄：手寫文字數據的採集方法167 

第8章貝葉斯推斷：以數據為基礎提高置信度的手法169 
8.1貝葉斯推斷模型和貝葉斯定理170 
8.1.1貝葉斯推斷的思路171 
8.1.2貝葉斯定理入門172 
8.1.3使用貝葉斯推斷確定正態分佈：推斷參數178 
8.1.4使用貝葉斯推斷確定正態分佈：推斷觀測值分佈185 
8.1.5示例代碼的確認188 
8.2貝葉斯推斷回歸分析的應用190 
8.2.1參數後期分佈的計算190 
8.2.2觀測值分佈的推斷194 
8.2.3示例代碼的確認195 
8.3附錄：最優推斷法和貝葉斯推斷的關係198 

後記201