白話深度學習的數學

本書通過想要學習深度學習的程序員綾乃和她朋友美緒的對話，逐步講解深度學習中實用的數學基礎知識。內容涉及神經網絡的結構、感知機、正向傳播和反向傳播，以及捲積神經網絡。其中，重點講解了容易成為學習絆腳石的數學公式和符號。同時，還通過實際的Python 編程實現神經網絡，加深讀者對相關數學知識的理解。

本書適合對深度學習感興趣、想要從事深度學習相關研究，但是對深度學習和神經網絡相關數學知識感到棘手的讀者閱讀。

[日]立石贤吾（作者）

SmartNews公司的机器学习工程师。从日本佐贺大学毕业后曾就职于数家开发公司，并于2014年入职LINE Fukuoka，在该公司于日本福冈市成立的数据分析和机器学习团队中，负责利用机器学习开发推荐系统、文本分类等产品，并担任团队负责人。2019年入职SmartNews公司，担任现职。

郑明智（译者）

长期从事人工智能、智慧医疗领域的研发工作。译有《白话机器学习的数学》《深度学习入门2》《深度学习基础与实践》等书。

第 1章 神經網絡入門 1

1.1　對神經網絡的興趣 2

1.2　神經網絡所處的位置 4

1.3　關於神經網絡 6

1.4　神經網絡能做的事情 13

1.5　數學與編程 20

專欄　神經網絡的歷史 23

第 2章 學習正向傳播 29

2.1　先來學習感知機 30

2.2　感知機的工作原理 32

2.3　感知機和偏置 35

2.4　使用感知機判斷圖像的長邊 38

2.5　使用感知機判斷圖像是否為正方形 41

2.6　感知機的缺點 44

2.7　多層感知機 48

2.8　使用神經網絡判斷圖像是否為正方形 52

2.9　神經網絡的權重 55

2.10　激活函數 66

2.11　神經網絡的表達式 69

2.12　正向傳播 74

2.13　神經網絡的通用化 80

專欄　激活函數到底是什麽 83

第3章 學習反向傳播 89

3.1　神經網絡的權重和偏置 90

3.2　人的局限性 92

3.3　誤差 95

3.4　目標函數 100

3.5　梯度下降法 107

3.6　小技巧：德爾塔 119

3.7　德爾塔的計算 130

3.7.1　輸出層的德爾塔 130

3.7.2　隱藏層的德爾塔 134

3.8　反向傳播 141

專欄　梯度消失到底是什麽 145

第4章 學習捲積神經網絡 151

4.1　擅長處理圖像的捲積神經網絡 152

4.2　捲積過濾器 154

4.3　特徵圖 162

4.4　激活函數 165

4.5　池化 167

4.6　捲積層 168

4.7　捲積層的正向傳播 176

4.8　全連接層的正向傳播 186

4.9　反向傳播 190

4.9.1　捲積神經網絡的反向傳播 190

4.9.2　誤差 192

4.9.3　全連接層的更新表達式 197

4.9.4　捲積過濾器的更新表達式 201

4.9.5　池化層的德爾塔 205

4.9.6　與全連接層相連的捲積層的德爾塔 207

4.9.7　與捲積層相連的捲積層的德爾塔 212

4.9.8　參數的更新表達式 217

專欄　交叉熵到底是什麽 221

第5章 實現神經網絡 227

5.1　使用Python 實現 228

5.2　判斷長寬比的神經網絡 229

5.2.1　神經網絡的結構 232

5.2.2　正向傳播 234

5.2.3　反向傳播 239

5.2.4　訓練 244

5.2.5　小批量 250

5.3　手寫數字的圖像識別與捲積神經網絡 255

5.3.1　準備數據集 257

5.3.2　神經網絡的結構 263

5.3.3　正向傳播 266

5.3.4　反向傳播 278

5.3.5　訓練 286

專欄　後話 297

附錄

A.1　求和符號 302

A.2　微分 303

A.3　偏微分 307

A.4　復合函數 310

A.5　向量和矩陣 312

A.6　指數與對數 316

A.7　Python 環境搭建 319

A.8　Python 基礎知識 322