深度學習輕鬆學 : 核心算法與視覺實踐 深度学习轻松学:核心算法与视觉实践

適讀人群：本書適合對深度學習感興趣的讀者閱讀，也適合有志於從事電腦視覺研究等領域的廣大學生閱讀，可作為深度學習的入門教材。

本書特色?深入剖析捲積神經網絡核心：全連接層和捲積層?深入分析Caffe源碼實現架構，瞭解框架背後的運行機理?詳盡介紹網絡結構與訓練細節，解密復雜運算的基本原理?經典實踐場景：圖像語意分割，圖像生成。

GAN模型的詳細分析與推導?樣例代碼採用C++和Python兩種語言編寫?語言輕松幽默易於理解，特別適合初學者快速掌握深度學習核心思想
 

馮超，畢業於中國科學院大學，猿輔導研究團隊視覺研究負責人，小猿搜題拍照搜題負責人之一。自2016 年起在知乎開設了自己的專欄——《無痛的機器學習》，發表機器學習與深度學習相關文章，文章以輕鬆幽默的語言、細緻深入的分析為特點，收到了不錯的反響，被多家媒體轉載。曾多次參與社區技術分享活動。

1機器學習與深度學習的概念1 

1.1什麼是機器學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 

1.1.1機器學習的形式. . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 

1.1.2機器學習的幾個組成部分. . . . . . . . . . . . . . . . . . . . . . 8 

1.2深度學習的逆襲. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 

1.3深層模型在視覺領域的應用. . . . . . . . . . . . . . . . . . . . . . . . . 13 

1.4本書的主要內容. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 

1.5總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 

2數學與機器學習基礎18 

2.1線性代數基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 

2.2對稱矩陣的性質. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 

2.2.1特徵值與特徵向量. . . . . . . . . . . . . . . . . . . . . . . . . . 22 

2.2.2對稱矩陣的特徵值 特徵向量. . . . . . . . . . . . . . . . . . . . 23 

2.2.3對稱矩陣的對角化. . . . . . . . . . . . . . . . . . . . . . . . . . 24 

2.3概率論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 

2.3.1概率與分佈. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 

2.3.2最大似然估計. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 

2.4信息論基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 

2.5 KL散度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 

2.6凸函數及其性質. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 

2.7機器學習基本概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 

2.8機器學習的目標函數. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 

2.9總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 

3 CNN的基石：全連接層45 

3.1線性部分. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 

3.2非線性部分. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 

3.3神經網絡的模樣. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 

3.4反向傳播法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 

3.4.1反向傳播法的計算方法. . . . . . . . . . . . . . . . . . . . . . . . 55 

3.4.2反向傳播法在計算上的抽象. . . . . . . . . . . . . . . . . . . . . 58 

3.4.3反向傳播法在批量數據上的推廣. . . . . . . . . . . . . . . . . . 59 

3.4.4具體的例子. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 

3.5參數初始化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 

3.6總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 

4 CNN的基石：卷積層69 

4.1卷積操作. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 

4 .1.1卷積是什麼. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 

4.1.2卷積層效果展示. . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 

4.1.3卷積層匯總了什麼. . . . . . . . . . . . . . . . . . . . . . . . . . 76 

4.1.4卷積的另一種解釋. . . . . . . . . . . . . . . . . . . . . . . . . . 77 

4.2卷積層的反向傳播. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 

4.2.1實力派解法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 

4.2.2 “偶像派”解法. . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 

4.3 ReLU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 

4.3.1梯度消失問題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 

4.3.2 ReLU的理論支撐. . . . . . . . . . . . . . . . . . . . . . . . . . . 92 

4.3.3 ReLU的線性性質. . . . . . . . . . . . . . . . . . . . . . . . . . . 93 

4.3.4 ReLU的不足. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 

4.4總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 

4.5參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 

5 Caffe入門95 

5.1使用Caffe進行深度學習訓練. . . . . . . . . . . . . . . . . . . . . . . . 96 

5.1.1數據預處理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 

5.1.2網絡結構與模型訓練的配置. . . . . . . . . . . . . . . . . . . . . 100 

5.1. 3訓練與再訓練. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 

5.1.4訓練日誌分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 

5.1.5預測檢驗與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 

5.1.6性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 

5.2模型配置文件介紹. . .