AI 芯片：前沿技術與創新未來

本書從AI的發展歷史講起，介紹了目前最熱門的深度學習加速芯片和基於神經形態計算的類腦芯片的相關算法、架構、電路等，並介紹了近年來產業界和學術界一些著名的 AI芯片，包括生成對抗網絡芯片和深度強化學習芯片等。本書著重介紹了用創新的思維來設計 AI 芯片的各種計算範式，以及下 一代AI芯片的幾種範例，包括量子啟發的 AI芯片、進一步提升智能程度的AI芯片、有機自進化AI芯片、光子AI芯片及自供電AI芯片等。本書也介紹了半導體芯片技術在“後摩爾定律時代”的發展 趨勢，以及基礎理論（如量子場論、信息論等）引領 AI 芯片創新並將不斷發揮巨大作用。最後，本書介紹了AI發展的三個層次、AI 芯片與生物大腦的差距以及未來的發展方向。

本書可供在AI芯片領域學習和工作的研究生、本科生、工程技術人員，以及所有對AI芯片感興趣的人員參考。

張臣雄
畢業於上海交通大學電子工程系，在德國獲得工學碩士和工學博士學位。
曾在德國西門子、Interphase、上海通信技術中心及一家世界500 強大型高科技企業分別擔任項目主管、CTO、CEO、首席科學家等職，長期從事及主管半導體芯片的研究和開發，推動芯片的產業化應用。
張臣雄博士是兩家創業公司的創始人之一，兼任首席科學家。
他擁有200 餘項專利及專利申請，出版了多本專著並發表了100 多篇論文。

第一篇導論
第1 章AI 芯片是人工智能未來發展的核心——什麼是AI 芯片// 2
1.1 AI 芯片的歷史// 3
1.2 AI 芯片要完成的基本運算// 5
1.2.1 大腦的工作機制// 5
1.2.2 模擬大腦運作的神經網絡的計算// 7
1.2.3 深度學習如何進行預測// 8
1.2.4 提高性能和降低功耗// 9
1.3 AI 芯片的種類// 11
1.3.1 深度學習加速器// 15
1.3.2 類腦芯片// 16
1.3.3 仿生芯片及其他智能芯片// 17
1.3.4 基於憶阻器的芯片// 19
1.4 AI 芯片的研發概況// 22 1.5 小結// 23

第2 章執行“訓練”和“推理”的AI 芯片// 25
2.1 深度學習算法成為目前的主流// 25
2.1.1 深度學習的優勢與不足// 28
2.1.2 監督學習與無監督學習// 29
2.1.3 AI 芯片用於雲端與邊緣側// 31
2.1.4 把AI 計算從雲端遷移到邊緣側// 36
2.2 AI 芯片的創新計算範式// 40
2.3 AI 芯片的創新實現方法// 42 
2.4 小結// 46

第二篇最熱門的AI 芯片
第3 章深度學習AI 芯片// 48
3.1 深度神經網絡的基本組成及硬件實現// 48
3.1.1 AI 芯片的設計流程// 50
3.1.2 計算引擎和存儲系統// 51
3.2 算法的設計和優化// 57
3.2.1 降低數值精度的量化技術// 57
3.2.2 壓縮網絡規模、“修剪”網絡// 62
3.2.3 二值和三值神經網絡// 63
3.2.4 可變精度和遷移精度// 64
3.2.5 簡化卷積層// 66
3.2.6 增加和利用網絡稀疏性// 66
3.3 架構的設計和優化// 67
3.3.1 把數據流用圖表示的架構設計// 68
3.3.2 架構設計及優化的其他考慮// 71
3.4 電路的設計和優化// 72
3.4.1 用模數混合電路設計的MAC // 73
3.4.2 FPGA 及其Overlay 技術// 74
3.5 其他設計方法// 76
3.5.1 卷積分解方法// 76
3.5.2 提前終止方法// 76
3.5.3 知識蒸餾方法// 77
3.5.4 經驗測量方法// 77
3.5.5 哈希算法取代矩陣乘法// 78
3.5.6 神經架構搜索// 78
3.6 AI 芯片性能的衡量和評價// 79
3.7 小結// 82

第4 章近年研發的AI 芯片及其背後的產業和創業特點// 85
4.1 對AI 芯片巨大市場的期待// 86 
4.2 “1+3”大公司格局// 87
4.2.1 英偉達// 87
4.2.2 谷歌// 91
4.2.3 英特爾// 94
4.2.4 微軟// 96
4.2.5 其他一些著名公司的AI 芯片// 97
4.2.6 三位世界級AI 科學家// 101
4.3 學術界和初創公司// 102
4.3.1 大學和研究機構的AI 芯片// 103
4.3.2 四家初創“獨角獸”公司的芯片// 111
4.4 小結// 119

第5 章神經形態計算和類腦芯片// 121
5.1 脈衝神經網絡的基本原理// 122
5.2 類腦芯片的實現// 125
5.2.1 憶阻器實現// 127
5.2.2 自旋電子器件實現// 129
5.3 基於DNN 和SNN 的AI 芯片比較及未來可能的融合// 131
5.4 類腦芯片的例子及最新發展// 133
5.5 小結// 138

第三篇用於AI 芯片的創新計算範式
第6 章模擬計算// 142
6.1 模擬計算芯片// 143
6.2 新型非易失性存儲器推動了模擬計算// 147
6.2.1 用阻變存儲器實現模擬計算// 147
6.2.2 用相變存儲器實現模擬計算// 149
6.2.3 權重更新的挑戰// 150
6.2.4 NVM 器件的材料研究和創新// 151
6.3 模擬計算的應用範圍及其他實現方法// 153
6.4 模擬計算的未來趨勢// 154
6.5 小結// 156

第7 章存內計算// 158
7.1 馮·諾依曼架構與存內計算架構// 158
7.2 基於存內計算的AI 芯片// 161
7.2.1 改進現有存儲芯片來完成存內計算// 161
7.2.2 用3D 堆疊存儲技術來完成存內計算// 164
7.2.3 用新型非易失性存儲器來完成存內計算// 165
7.3 小結// 171

第8 章近似計算、隨機計算和可逆計算// 174
8.1 近似計算// 174
8.1.1 減少循環迭代次數的近似計算// 176
8.1.2 近似加法器和近似乘法器// 177
8.1.3 降低電源電壓的近似計算// 178
8.1.4 基於RRAM 的近似計算// 180
8.1.5 應對電路故障的近似計算// 182
8.2 隨機計算// 182
8.3 可逆計算// 187
8.4 小結// 191

第9 章自然計算和仿生計算// 192
9.1 組合優化問題// 193
9.2 組合優化問題的最優化算法// 195
9.2.1 模擬退火// 195
9.2.2 自組織映射// 197
9.2.3 群體算法// 199
9.3 超參數及神經架構搜索// 201
9.3.1 粒子群優化的應用// 202
9.3.2 強化學習方法的應用// 202
9.3.3 進化算法的應用// 203
9.3.4 其他自然仿生算法的應用// 204
9.4 基於自然仿生算法的AI 芯片// 205
9.4.1 粒子群優化的芯片實現// 206
9.4.2 用憶阻器實現模擬退火算法// 207
9.5 小結// 208

第四篇下一代AI 芯片
第10 章受量子原理啟發的AI 芯片——解決組合優化問題的突破// 210
10.1 量子退火機// 210
10.2 伊辛模型的基本原理// 212
10.3 用於解決組合優化問題的AI 芯片// 214
10.3.1 基於FPGA 的可編程數字退火芯片// 214
10.3.2 使用OPO 激光網絡來進行最優化計算// 216
10.3.3 CMOS 退火芯片// 218
10.3.4 商用量子啟發AI 芯片// 220
10.4 量子啟發AI 芯片的應用// 221
10.5 小結// 223

第11 章進一步提高智能程度的AI 算法及芯片// 224
11.1 自學習和創意計算// 225
11.2 元學習// 226
11.2.1 模型不可知元學習// 226
11.2.2 元學習共享分層// 227
11.2.3 終身學習// 228
11.2.4 用類腦芯片實現元學習// 229
11.3 元推理// 230
11.4 解開神經網絡內部表徵的纏結// 231
11.5 生成對抗網絡// 235
11.5.1 生成對抗網絡的FPGA 實現// 239
11.5.2 生成對抗網絡的CMOS 實現// 239
11.5.3 生成對抗網絡的RRAM 實現// 240
11.6 小結// 242

第12 章有機計算和自進化AI 芯片// 243
12.1 帶自主性的AI 芯片// 244
12.2 自主計算和有機計算// 247
12.3 自進化硬件架構與自進化AI 芯片// 248
12.3.1 自進化硬件架構// 248
12.3.2 自進化AI 芯片// 250
12.4 深度強化學習AI 芯片// 252
12.5 進化算法和深度學習算法的結合// 253
12.6 有機計算和遷移學習的結合// 254
12.7 小結// 255

第13 章光子AI 芯片和儲備池計算// 256
13.1 光子AI 芯片// 257
13.1.1 矽光芯片// 258
13.1.2 光學神經網絡架構// 259
13.1.3 光子AI 芯片// 261
13.2 基於儲備池計算的AI 芯片// 263
13.3 光子芯片的新進展// 267
13.4 小結// 268

第五篇推動AI 芯片發展的新技術
第14 章超低功耗與自供電AI 芯片// 271
14.1 超低功耗AI 芯片// 271
14.2 自供電AI 芯片// 274
14.2.1 使用太陽能的AI 芯片// 276
14.2.2 無線射頻信號能量採集// 277
14.2.3 摩擦生電器件// 280
14.2.4 微塵大小的AI 芯片// 282
14.2.5 可採集能源的特性// 283
14.2.6 其他可能被發掘的能源// 284
14.3 小結// 285

第15 章後摩爾定律時代的芯片// 287
15.1 摩爾定律仍然繼續，還是即將終結// 287
15.1.1 摩爾定律進一步// 290
15.1.2 比摩爾定律更多// 293
15.1.3 超越CMOS // 300
15.2 芯片設計自動化的前景// 311
15.3 後摩爾定律時代的重要變革是量子計算芯片// 312
15.4 小結// 314

第六篇促進AI 芯片發展的基礎理論研究、應用和創新
第16 章基礎理論研究引領AI 芯片創新// 316
16.1 量子場論// 317
16.1.1 規範場論與球形曲面卷積// 317
16.1.2 重整化群與深度學習// 321
16.2 超材料與電磁波深度神經網絡// 322
16.3 老子之道// 327
16.4 量子機器學習與量子神經網絡// 331
16.5 統計物理與信息論// 333
16.6 小結// 336

第17 章AI 芯片的應用和發展前景// 338
17.1 AI 的未來發展// 338
17.2 AI 芯片的功能和技術熱點// 341
17.3 AI 的三個層次和AI 芯片的應用// 343
17.4 更接近生物大腦的AI 芯片// 347
17.4.1 帶“左腦”和“右腦”的AI 芯片// 349
17.4.2 用細菌實現的擴散憶阻器// 350
17.4.3 用自旋電子器件實現的微波神經網絡// 351
17.4.4 用電化學原理實現模擬計算// 352
17.5 AI 芯片設計是一門跨界技術// 353
17.6 小結// 355

附錄中英文術語對照表// 360
參考文獻// 369