深度學習框架及系統部署實戰（微課視頻版）

在數字化時代，嵌入式人工智能系統和深度學習等技術變得越來越重要。在嵌入式平臺上進行深度學習推理時會受到計算能力、存儲空間、能耗等資源限制的挑戰。本書從深度學習模型在資源受限的硬件平臺上部署的角度，介紹嵌入式AI系統的基本概念、需求、挑戰，以及其軟硬件解決方案。 本書共分為7章。第1章介紹了邊緣計算； 第2章介紹了嵌入式AI系統的基本概念及其面臨的需求與挑戰； 第3章介紹了嵌入式AI系統的硬件解決方案； 第4~6章介紹了嵌入式AI系統的軟件解決方案，包括DNN模型的構建及實現、輕量級DNN模型的構建、模型輕量化方法及實現； 第7章介紹了DNN模型的硬件部署。本書提供了基於Python語言和Torch API的大量代碼解析，並針對Intel系列和NVIDIA系列芯片的硬件部署分別進行介紹。 本書適合作為高等院校電腦專業、軟件工程專業的教材，也可供對深度學習、電腦視覺、嵌入式AI系統等感興趣的開發人員、廣大科技工作者和研究人員參考。

 

目錄

 

 

 

 

 

 

隨書資源

 

 

 

第1章邊緣計算

 

1．1雲計算與邊緣計算

 

1．2邊緣計算的挑戰

 

1．2．1DNN模型設計

 

1．2．2DNN模型輕量化

 

1．2．3硬件優化部署

 

1．3雲邊端任務協作

 

1．4本章小結

 

1．5習題

 

第2章嵌入式AI系統

 

2．1嵌入式AI系統的概念

 

2．2嵌入式AI系統的硬件結構

 

2．3嵌入式AI系統的軟件結構

 

2．3．1驅動層

 

2．3．2操作系統層

 

2．3．3中間件層

 

2．3．4應用層

 

2．4嵌入式深度學習技術

 

2．5嵌入式AI系統的應用

 

2．5．1車載輔助駕駛系統

 

2．5．2無人機智能巡檢系統

 

2．5．3VR設備

 

2．6嵌入式AI系統的需求與挑戰

 

2．7本章小結

 

2．8習題

 

深度學習框架及系統部署實戰（微課視頻版）

目錄

 

 

第3章嵌入式AI系統的硬件解決方案

 

3．1通用類芯片——GPU

 

3．2半定製化芯片——FPGA

 

3．3全定製化芯片——ASIC 

 

3．4類腦芯片

 

3．5對四大類型AI芯片的總結與展望

 

3．5．1對AI芯片的總結

 

3．5．2對AI芯片的展望

 

3．6本章小結

 

3．7習題

 

第4章深度捲積神經網絡(DCNN)模型的構建及實現

 

4．1神經網絡的概念及發展歷史

 

4．1．1神經元的結構

 

4．1．2感知機

 

4．1．3BP算法

 

4．1．4神經網絡的發展歷史

 

4．2深度捲積神經網絡(DCNN)

 

4．2．1深度學習的概念

 

4．2．2DCNN的概念

 

4．2．3DCNN的構成

 

4．2．4DCNN的訓練

 

4．3幾種常用的DNN模型結構

 

4．3．1AlexNet

 

4．3．2VGG

 

4．3．3GoogLeNet

 

4．3．4ResNet

 

4．3．5網絡模型對比

 

4．3．6遷移學習

 

4．4圖像識別項目實戰

 

4．5本章小結

 

4．6習題

 

第5章輕量級DCNN模型

 

5．1MobileNet系列

 

5．1．1MobileNet V1

 

5．1．2MobileNet V2

 

5．1．3MobileNet V3

 

5．2ShuffleNet系列

 

5．2．1ShuffleNet V1

 

5．2．2ShuffleNet V2

 

5．3輕量級DCNN模型對比

 

5．4項目實戰

 

5．4．1MobileNet V3模型構建

 

5．4．2ShuffleNet V2模型構建

 

5．5本章小結

 

5．6習題

 

第6章深度學習模型輕量化方法及實現

 

6．1網絡模型剪枝

 

6．1．1基本原理

 

6．1．2網絡模型的剪枝分類

 

6．1．3剪枝標準

 

6．1．4剪枝流程

 

6．1．5代碼實現

 

6．2參數量化

 

6．2．1基本原理

 

6．2．2參數量化算法的分類

 

6．2．3參數量化流程

 

6．2．4代碼實現

 

6．3知識蒸餾法

 

6．3．1基本原理

 

6．3．2知識蒸餾算法流程

 

6．3．3代碼實現

 

6．4本章小結

 

6．5習題

 

第7章AI模型的硬件部署

 

7．1開放神經網絡交換(ONNX)格式

 

7．1．1ONNX模型

 

7．1．2Torch模型轉ONNX模型實例

 

7．1．3ONNX 工作原理

 

7．1．4ONNX模型推理

 

7．1．5推理速度對比

 

7．2Intel系列芯片部署方法

 

7．2．1OpenVINO的簡介

 

7．2．2OpenVINO的安裝

 

7．2．3OpenVINO工作流程

 

7．2．4OpenVINO推理示例

 

7．3NVIDIA系列芯片部署方法

 

7．3．1TensorRT的簡介

 

7．3．2TensorRT的安裝

 

7．3．3TensorRT模型轉換

 

7．3．4部署TensorRT模型

 

7．4本章小結

 

7．5習題