神經網絡與深度學習應用實戰 神经网络与深度学习应用实战

劉凡平
碩士，畢業於中國科學技術大學，專注於大數據分析、搜索引擎、機器學習和深度學習研究，曾任職於微軟亞太研發集團，現任職於百度（中國）有限公司，曾出版《大數據搜索引擎原理分析及編程》《大數據時代的算法》，是執著於將互聯網技術演繹為藝術的完美追求者。

基礎篇
第1章時代崛起2 
1.1概要2 
1.1.1基本概念2 
1.1.2深度學習與機器學習的關係4 
1.1.3深度學習與人工智能的關係5 
1.2歷史發展5 
1.2.1神經網絡發展歷史5 
1.2.2人工智能發展歷史7 
1.3應用領域8 
1.3.1智能個人助理8 
1.3.2智能安防9 
1.3.3無人駕駛9 
1.3.4電商零售11 
1.3.5智慧醫療11 
1.3.6金融服務12 
1.3.7智能教育13 
1.4未來猜想14 
1.4.1人文的快速發展14 
1.4.2人類也是“機器人” 14 
1.4.3新的不平等現象15 
1.5本章小結16 

第2章數學理論基礎17 
2.1向量17 
2.1.1相關概念17 
2.1.2向量的線性相關性18 
2.1.3向量的外積18 
2.1.4向量夾角與餘弦相似性18 
2.1.5實例：基於向量夾角的文本相似性分析19 
2.2矩陣20 
2.2.1矩陣乘法20
2.2.2克羅內克積21 
2.3導數22 
2.3.1概述22 
2.3.2一般運算法則22 
2.3.3鍊式求導法則23 
2.4數值計算23 
2.4.1誤差23 
2.4.2距離24 
2.4.3數值歸一化26 
2.5概率分佈26 
2.5.1二項分佈26 
2.5.2超幾何分佈27 
2.5.3泊松分佈27 
2.5.4指數分佈28 
2.5.5正態分佈29 
2.6參數估計29 
2.6.1概率29 
2.6.2貝葉斯估計30 
2.6.3最大似然估計31 
2.6.4最大後驗估計32 
2.7回歸分析33 
2.7.1線性回歸33 
2.7.2邏輯回歸36 
2.8判定問題39 
2.8.1 P問題39 
2.8.2 NP問題39 
2.8.3 NP-Complete問題40 
2.8.4 NP-Hard問題40 
2.9本章小結41 

第3章機器學習概要42 
3.1機器學習的類型42 
3.1.1有監督學習42
3.1.2無監督學習43 
3.1.3強化學習43 
3.2機器學習中常見的函數44 
3.2.1激活函數44 
3.2.2損失函數47 
3.2.3核函數48 
3.3機器學習中的重要參數49 
3.3.1學習速率49 
3.3.2動量係數50 
3.3.3偏置項50 
3.4擬合問題51 
3.4.1過擬合現象51 
3.4.2欠擬合現象52 
3.4.3解決過擬合問題的一般方法52 
3.4 .4實例：擬合與二元一次方程求解55 
3.5交叉檢驗55 
3.5.1數據類型種類55 
3.5.2留一交叉驗證57 
3.5.3 K折交叉驗證57 
3.6線性可分與不可分58 
3.7機器學習的學習特徵59 
3.8產生式模型與判別式模型60 
3.9機器學習效果的一般評價指標61 
3.10本章小結63 

第4章神經網絡基礎64 
4.1概述64 
4.1.1神經網絡模型64 
4.1.2經典的神經網絡結構65 
4.1.3一般業務場景中神經網絡適應性66 
4.1.4神經網絡的深度67
4.2常見學習方法67 
4.2.1誤差修正學習67 
4.2.2赫布學習規則68 
4.2.3最小均方規則69 
4.2.4競爭學習規則70 
4.2.5其他學習規則71 
4.3優化方法：梯度下降72 
4.3 .1概述72 
4.3.2梯度下降法72 
4.3.3梯度下降的優化算法74 
4.3.4梯度消失問題76 
4.3.5示例：利用梯度下降法求函數極值77 
4.4常見的神經網絡類型78 
4.4. 1前饋型神經網絡78 
4.4.2反饋型神經網絡79 
4.4.3自組織競爭型神經網絡79 
4.5深度學習中常見的網絡類型80 
4.5.1卷積神經網絡80 
4.5.2循環神經網絡80 
4.5 .3深度信念網絡80 
4.5.4生成對抗網絡81 
4.5.5深度強化學習81 
4.6其他神經網絡與深度學習82 
4.6.1隨機神經網絡82 
4.6.2量子神經網絡82 
4.6.3遷移學習82 
4.7深度學習與多層神經網絡的關係83 
4.8調參技巧84 
4.9本章小結85 

進階篇
第5章前饋型神經網絡88 
5.1概述88 
5.2常見結構88 
5.3單層感知器網絡89 
5.3.1原理89 
5.3.2網絡結構90 
5.3.3實例一：基於單層感知器“與”運算90 
5.3.4實例二：利用感知器判定零件是否合格91 
5.4 BP神經網絡93 
5.4.1概述93 
5.4.2反向傳播算法93 
5.4.3異或問題的解決96 
5.4.4避免病態結果98 
5.4. 5實例：基於多層感知器的手寫體數字識別99 
5.5徑向基函數神經網絡101 
5.5.1原理介紹101 
5.5.2中心選擇方法102 
5.5.3訓練過程103 
5.5.4徑向基函數神經網絡與BP神經網絡的差異104 
5.6本章小結105 

第6章反饋型神經網絡107 
6.1概述107 
6.1.1基本原理107 
6.1.2與前饋型神經網絡的差異108 
6.2 Hopfield神經網絡109 
6.3 Elman神經網絡112 
6.3 .1結構組成112 
6.3.2學習算法112 
6.4遞歸神經網絡113
6.4.1產生背景114 
6.4.2基本結構115 
6.4.3前向計算過程116 
6.4.4反向傳播：BPTS算法117 
6.4.5應用場景118 
6.4.6遞歸神經網絡的結構改進118 
6.4.7應用實例121 
6.5本章小結124 

第7章自組織競爭型神經網絡125 
7.1概述125 
7.1.1一般網絡模型125 
7.1.2工作原理126 
7.1.3實例：用競爭學習規則進行模式分類127 
7.2常見的聚類方法129 
7.2.1系統聚類法129 
7.2.2基於劃分的聚類算法130 
7.2.3基於密度的聚類算法131 
7.2.4基於層次的聚類算法132 
7.3自組織映射網絡134 
7.3.1概述134 
7.3.2訓練算法134 
7.3.3實例：利用自組織映射網絡劃分城市群135 
7.3.4優劣勢分析136 
7.4其他自組織競爭型神經網絡137 
7.4.1自適應共振理論137 
7.4.2對偶傳播神經網絡138 
7.5本章小結139 

高階篇
第8章卷積神經網絡142
8.1概述142 
8.1.1發展背景142 
8.1.2基本概念143 
8.1.3基本網絡結構144 
8.2卷積145 
8.2.1卷積的物理意義145 
8.2.2卷積的理解145 
8.2.3卷積的實例147 
8.3卷積核148 
8.3.1卷積核的含義148 
8.3.2卷積操作150 
8.3.3卷積核的特徵150 
8.4卷積神經網絡中各層工作原理151 
8.4.1卷積層151 
8.4 .2下採樣層151 
8.4.3 Softmax層152 
8.5卷積神經網絡的逆向過程153 
8.6常見卷積神經網絡結構154 
8.6.1 LeNet-5 154 
8.6.2 AlexNet 155 
8.7應用場景與效果評估157 
8.7. 1場景1：圖像分類157 
8.7.2場景2：目標檢測158 
8.7.3場景3：實例分割159 
8.8 Maxout Networks 160 
8.9本章小結162 

第9章循環神經網絡163 
9.1概述163 
9.2一般循環神經網絡164 
9.2 .1概述164
9.2.2單向循環神經網絡165 
9.2.3雙向循環神經網絡166 
9.2.4深度循環神經網絡167 
9.3訓練算法：BPTT算法168 
9.3.1前向計算168 
9.3.2誤差項計算169 
9.3.3權值梯度計算169 
9.3.4梯度爆炸與梯度消失問題170 
9.4長短時記憶網絡170 
9.4.1背景170 
9.4.2核心思想171 
9.4.3詳細結構172 
9.4.4訓練過程176 
9.4.5相關變種簡介181 
9.5常見循環神經網絡結構182 
9.5.1 N比N結構182 
9.5.2 N比1結構183 
9.5.3 1比N結構183 
9.5.4 N比M結構184 
9.6與自然語言處理結合185 
9.7實例：文本自動生成186 
9.8本章小結187 

第10章深度信念網絡188 
10.1概要188 
10.1.1背景188 
10.1.2基本結構188 
10.2受限玻爾茲曼機190 
10.2.1概述190 
10.2.2邏輯結構192 
10.2. 3對比分歧算法194
10.3訓練過程194