深度神經網絡的學習理論
林紹波,王迪,周定軒
相關主題
商品描述
本書以函數逼近論與學習理論為主要工具，建立了一個系統的數學框架來解釋深度的必要性、深度神經網絡的適用性、數據規模對深度神經網絡的影響、深度選擇問題、網絡結構選擇問題及過參數化深度神經網絡的泛化性等現階段深度學習亟待解決的核心理論問題。本書的主要目的有三個:其一是期望從學習理論的角度給出作者的見解，能為某些方向的學者解惑；其二是為打算進入深度學習理論這一領域的青年學者及廣大學生提供參考，使其能盡快領略深度學習理論的魅力;其三是拋磚引玉，希望更多的學者關註到深度學習理論這一方向並推動這一領域的更快發展。
作者簡介
周定軒，悉尼大學數學系教授，研究方向為學習理論、函數逼近論及深度學習。
目錄大綱
目錄
《大數據與數據科學專著系列》序
前言
主要符號表
第1章 深度神經網絡與學習理論 1
1.1 機器學習及其三要素 2
1.2 深度神經網絡 3
1.3 學習理論 6
1.4 深度神經網絡的學習理論問題 10
1.5 文獻導讀 13
第2章 淺層神經網絡的逼近理論 15
2.1 淺層神經網絡的稠密性.15
2.2 淺層神經網絡逼近的復雜性與優越性 18
2.3 淺層神經網絡逼近的局限性 22
2.4 相關證明 26
2.5 文獻導讀 40
第3章 深度的必要性 43
3.1 函數逼近中深度的作用.43
3.2 深度與寬度對神經網絡覆蓋數的影響 45
3.3 深度的必要性.49
3.4 深度神經網絡的最優泛化性 51
3.5 數值實驗 53
3.6 相關證明 55
3.7 文獻導讀 69
第4章 深度全連接神經網絡的學習理論 72
4.1 深度全連接神經網絡的性質 72
4.2 深度全連接神經網絡的適用性 75
4.3 數據規模在深度學習中的作用 80
4.4 數值實驗 84
4.5 相關證明 87
4.6 文獻導讀 102
第5章 深度稀疏連接神經網絡的學習理論 104
5.1 稀疏連接神經網絡 104
5.2 深度稀疏連接神經網絡的性質.108
5.3 深度選擇與深度-參數平衡現象 111
5.4 深度稀疏連接神經網絡的構造 115
5.5 數值實驗 118
5.6 相關證明 121
5.7 文獻導讀 133
第6章 深度捲積神經網絡的學習理論 136
6.1 捲積神經網絡 136
6.2 零填充在捲積神經網絡中的作用 141
6.3 池化的作用 143
6.4 捲積神經網絡的逼近與學習性能 147
6.5 數值實驗 149
6.6 相關證明 152
6.7 文獻導讀 164
第7章 過參數化神經網絡的學習理論 167
7.1 過參數化神經網絡 167
7.2 全局極小解的分佈與性質 169
7.3 過參數化神經網絡的泛化性能 171
7.4 數值實驗 174
7.5 相關證明 177
7.6 文獻導讀 185
參考文獻 187
《大數據與數據科學專著系列》已出版書目 195
