深度學習嵌入式應用開發：基於 RK3399Pro 和 RK3588

這是一本講解如何基於當前主流的智能芯片RK3399Pro與RK3588進行端側智能開發的著作，
它將指導讀者如何基於這兩款芯片進行算法的設計與實施，瑞芯微官方推薦。
理論部分，以深度學習為主線，針對零基礎的讀者，不僅講解了卷積神經網絡、
循環神經網絡等深度神經網絡的原理以及它們在計算機視覺、自然語言處理、
語音識別等領域的經典算法，還講解了深度神經網絡的訓練和模型優化。
實踐部分，以基於RK3399Pro與RK3588兩款智能芯片的端側智能開發為主線，
講解了芯片的功能架構、開發板及其開發環境、Rock-X API組件庫，以及基於它們的各種端側智能應用開發，
包括各種神經網絡的開發、神經網絡的運算加速等，讓讀者掌握深度學習模型從設計、
訓練、優化到端側部署的完整流程，快速學會人工智能應用的開發。

前言
第1章深度學習基礎 1
1.1 深度學習的現實應用 2
1.1.1 計算機視覺 2
1.1.2 自然語言處理 2
1.1.3 系統 3
1.1.4 語音處理 3
1.1.5 其他領域 3
1.2 回歸問題和分類問題 4
1.2.1 線性回歸 5
1.2.2 Softmax分類 6
1.3 梯度下降算法 8
1.3.1 優化算法概述 8
1.3.2 隨機梯度下降算法10
1.3.3 小批量梯度下降算法13
1.3.4 Momentum梯度下降
算法14
1.3.5 Adam優化算法15
1.4 神經網絡16
1.4.1 神經網絡的表示16
1.4.2 激活函數及其導數19
1.4.3 前向傳播和反向傳播23
1.4.4 神經網絡的梯度下降26
1.5 本章小結27
第2章卷積神經網絡28
2.1 卷積基礎知識28
2.1.1 卷積操作29
2.1.2 池化33
2.1.3 卷積的變種34
2.2 深度卷積神經網絡37
2.2.1 卷積神經網絡的整體
結構37
2.2.2 殘差結構和1×1卷積38
2.2.3 經典卷積網絡41
2.3 卷積神經網絡的應用44
2.3.1 圖像分類44
2.3.2 目標檢測45
2.3.3 其他應用49
2.4 本章小結49
第3章循環神經網絡50
3.1 深度循環神經網絡50
3.1.1 循環神經網絡概述51
3.1.2 基於時間的反向傳播52
3.1.3 循環神經網絡的長期依賴
問題54
3.2 循環神經網絡變體55
3.2.1 長短時記憶網絡55
3.2.2 門控循環神經網絡60
3.3 序列模型和注意力機制61
3.3.1 Seq2Seq序列模型62
3.3.2 注意力機制64
3.3.3 Transformer結構69
3.4 循環神經網絡的應用74
3.4.1 自然語言處理74
3.4.2 語音識別84
3.4.3 喚醒詞檢測87
3.5 本章小結88
第4章深度神經網絡的訓練90
4.1 深度學習的學習策略90
4.1.1 數據集劃分和評估指標90
4.1.2 偏差、方差和誤差94
4.1.3 神經網絡的權重初始化95
4.2 深度學習的訓練技巧96
4.2.1 梯度消失和梯度爆炸96
4.2.2 正則化和隨機失活97
4.2.3 歸一化99
4.2.4 自適應學習率100
4.2.5 超參數優化101
4.3 改善模型表現102
4.3.1 解決數據不匹配問題102
4.3.2 遷移學習103
4.4 動手訓練神經網絡104
4.4.1 Jupyter Notebook的
使用104
4.4.2 訓練MNIST手寫數字識別模型106
4.4.3 TensorBoard的使用112
4.5 本章小結115
第5章RK3399Pro芯片功能與
架構116
5.1 RK3399Pro芯片的整體架構116
5.2 神經網絡處理單元121
5.2.1 神經網絡處理單元的
4個模塊122
5.2.2 RKNN-Toolkit開發
套件123
5.2.3 RKNN-API開發套件126
5.3 視頻處理單元126
5.4 圖形處理加速單元128
5.5 本章小結128
第6章TB-RK3399Pro開發板130
6.1 開發板硬件環境介紹130
6.1.1 硬件總覽130
6.1.2 硬件規格131
6.2 開發板開發環境搭建134
6.2.1 開發板的啟動和網絡
配置134
6.2.2 終端與軟件包安裝138
6.3 本章小結144
第7章基於TB-RK3399Pro進行卷積神經網絡實戰145
7.1 TB-RK3399Pro圖像採集145
7.1.1 原理145
7.1.2 實戰146
7.2 TB-RK3399Pro手寫數字
識別147
7.2.1 原理147
7.2.2 實戰150
7.3 TB-RK3399Pro YOLO目標
檢測152
7.3.1 原理153
7.3.2 實戰154
7.4 TB-RK3399Pro人臉識別156
7.4.1 原理156
7.4.2 實戰162
7.5 本章小結163
第8章TB-RK3399Pro神經網絡
運算加速165
8.1 神經網絡運算加速引擎介紹165
8.2 神經網絡模型部署和推理166
8.2.1 模型部署167
8.2.2 模型推理169
8.3 神經網絡模型量化170
8.4 本章小結173
第9章基於TB-RK3399Pro開發板進行循環神經網絡實戰174
9.1 TB-RK3399Pro開發板聲音
採集174
9.1.1 必備環境安裝174
9.1.2 聲音採集175
9.2 語音識別模型介紹176
9.2.1 特徵提取177
9.2.2 語音識別網絡180
9.2.3 評價指標182
9.3 TB-RK3399Pro語音識別
實戰182
9.3.1 實戰目的182
9.3.2 實戰數據182
9.3.3 實戰環境183
9.3.4 實戰步驟183
9.3.5 實戰結果187
9.4 本章小結188
第10章基於Rock-X API的深度
學習案例189
10.1 Rock-X SDK介紹189
10.2 Rock-X環境部署190
10.3 目標檢測190
10.4 車牌識別195
10.5 人體關鍵點檢測198
10.6 人臉關鍵點檢測201
10.7 手指關鍵點檢測205
10.8 人臉識別208
10.9 本章小結212
第11章TB-RK3588X開發板213
11.1 開發板硬件環境介紹213
11.1.1 產品簡介213
11.1.2 芯片架構215
11.1.3 系統框圖215
11.1.4 硬件規格216
11.2 開發板軟件開發介紹218
11.2.1 開機啟動218
11.2.2 固件升級218
11.2.3 搭建系統環境221
11.2.4 編譯配置221
11.2.5 鏡像編譯224
11.2.6 Linux系統下燒寫
鏡像225
11.2.7 Windows系統下燒寫
鏡像226
11.2.8 常見問題226
11.2.9 RKNN開髮指南226
11.3 本章小結227
參考文獻228