深度學習 : 21天實戰 Caffe 深度学习:21天实战Caffe

<內容簡介>

 

《深度學習：21天實戰Caffe》是一本深度學習入門讀物。以目前已經大量用於線上系統的深度學習框架Caffe為例，由淺入深，從Caffe 的配置、部署、使用開始學習，通過閱讀Caffe 源碼理解其精髓，加強對深度學習理論的理解，最終達到熟練運用Caffe 解決實際問題的目的。和國外機器學習、深度學習大部頭著作相比，此偏重動手實踐，將難以捉摸的枯燥理論用淺顯易懂的形式表達，透過代碼揭開其神秘面紗，更多地貼近實際應用。

本書非常適合：對人工智能、機器學習感興趣的讀者；希望用深度學習完成設計的電腦或電子信息專業學生；準備開設機器學習、深度學習實踐課的授課老師；學習過C++，希望進一步提升編程水平的開發者；剛入坑的機器學習、語音、機器視覺、智能機器人研發或演算法工程師。

 

 

<作者介紹>

 

卜居

真名趙永科，CSDN博主，現就職於阿裡雲計算有限公司，從事計算機體系結構、高性能計算系統設計。對計算機視覺、深度學習具有濃厚興趣。擅長CPU/GPU/FPGA的算法加速與性能優化。

 

 

<章節目錄>

 

上篇  初見

 

第1天  什麼是深度學習

1.1 星星之火，可以燎原

1.2 師夷長技

1.2.1 谷歌與微軟

1.2.2 Facebook、亞馬遜與NVIDIA 

1.3 中國崛起

1.3.1 BAT在路上

1.3.2 星光閃耀

1.3.3 企業熱是風向標

1.4 練習題

 

第2天  深度學習的過往

2.1 傳統機器學習的局限性

2.2 從表示學習到深度學習

2.3 監督學習

2.4 反向傳播算法 

2.5 捲積神經網絡 

2.6 深度學習反思

2.7 練習題

2.8 參考資料

 

第3天  深度學習工具匯總

3.1 Caffe

3.2 Torch & OverFeat

3.3 MxNet

3.4 TensorFlow

3.5 Theano

3.6 CNTK

3.7 練習題

3.8 參考資料

 

第4天  準備Caffe環境

4.1 Mac OS環境準備

4.2 Ubuntu環境準備

4.3 RHEL/Fedora/CentOS環境準備

4.4 Windows環境準備

4.5 常見問題

4.6 練習題

4.7 參考資料

 

第5天  Caffe依賴包解析

5.1 ProtoBuffer

5.2 Boost

5.3 GFLAGS

5.4 GLOG

5.5 BLAS

5.6 HDF5

5.7 OpenCV

5.8 LMDB和LEVELDB

5.9 Snappy

5.10 小結

5.11 練習題

5.12 參考資料

 

第6天  運行手寫體數字識別例程

6.1 MNIST數據集

6.1.1 下載MNIST數據集

6.1.2 MNIST數據格式描述

6.1.3 轉換格式

6.2 LeNet-5模型

6.2.1 LeNet-5模型描述

6.2.2 訓練超參數

6.2.3 訓練日誌

6.2.4 用訓練好的模型對數據進行預測

6.2.5 Windows下訓練模型

6.3 回顧 

6.4 練習題

6.5 參考資料

篇尾語

 

中篇  熱戀

 

第7天  Caffe代碼梳理

7.1 Caffe目錄結構

7.2 如何有效閱讀Caffe源碼

7.3 Caffe支持哪些深度學習特性

7.3.1 捲積層

7.3.2 全連接層

7.3.3 激活函數

7.4 小結

7.5 練習題

7.6 參考資料

 

第8天  Caffe數據結構

8.1 Blob

8.1.1 Blob基本用法

8.1.2 數據結構描述

8.1.3 Blob是怎樣煉成的

8.2 Layer

8.2.1 數據結構描述

8.2.2 Layer是怎樣建成的

8.3 Net

8.3.1 Net基本用法

8.3.2 數據結構描述

8.3.3 Net是怎樣繪成的

8.4 機制和策略

8.5 練習題

8.6 參考資料

 

第9天  Caffe I/O模塊

9.1 數據讀取層

9.1.1 數據結構描述

9.1.2 數據讀取層實現

9.2 數據變換器

9.2.1 數據結構描述

9.2.2 數據變換器的實現

9.3 練習題

 

第10天  Caffe模型

10.1 prototxt表示

10.2 內存中的表示

10.3 磁盤上的表示

10.4 Caffe Model Zoo

10.5 練習題

10.6 參考資料

 

第11天  Caffe前向傳播計算

11.1 前向傳播的特點

11.2 前向傳播的實現

11.2.1 DAG構造過程

11.2.2 Net Forward實現

11.3 練習題

 

第12天  Caffe反向傳播計算

12.1 反向傳播的特點

12.2 損失函數

12.2.1 算法描述

12.2.2 參數描述

12.2.3 源碼分析

12.3 反向傳播的實現

12.4 練習題

 

第13天  Caffe最優化求解過程

13.1 求解器是什麼

13.2 求解器是如何實現的

13.2.1 算法描述

13.2.2 數據結構描述

13.2.3 CNN訓練過程

13.2.4 CNN預測過程

13.2.5 Solver的快照和恢復功能

 

第14天  Caffe實用工具

14.1 訓練和預測

14.2 特徵提取

14.3 轉換圖像格式 

14.4 計算圖像均值

14.5 自己編寫工具

14.6 練習題

篇尾語

 

下篇  昇華

 

第15天  Caffe計算加速

15.1 Caffe計時功能

15.2 Caffe GPU加速模式

15.2.1 GPU是什麼

15.2.2 CUDA是什麼

15.2.3 GPU、CUDA和深度學習

15.2.4 Caffe GPU環境準備

15.2.5 切換到Caffe GPU加速模式

15.3 Caffe cuDNN加速模式

15.3.1 獲取cuDNN

15.3.2 切換到Caffe cuDNN加速模式

15.3.3 Caffe不同硬件配置性能

15.4 練習題

15.5 參考資料

 

第16天  Caffe可視化方法

16.1 數據可視化

16.1.1 MNIST數據可視化

16.1.2 CIFAR10數據可視化

16.1.3 ImageNet數據可視化

16.2 模型可視化

16.2.1 網絡結構可視化

16.2.2 網絡權值可視化

16.3 特徵圖可視化

16.4 學習曲線

16.5 小結

16.6 練習題

16.7 參考資料

 

第17天  Caffe遷移和部署

17.1 從開發測試到生產部署

17.2 使用Docker

17.2.1 Docker基本概念

17.2.2 Docker安裝

17.2.3 Docker入門

17.2.4 Docker使用進階

17.3 練習題

17.4 參考資料

 

第18天  關於ILSVRC不得不說的一些事兒

18.1 ImageNet數據集

18.2 ILSVRC比賽項目

18.2.1 圖像分類（CLS）

18.2.2 目標定位（LOC）

18.2.3 目標檢測（DET）

18.2.4 視頻目標檢測（VID）

18.2.5 場景分類

18.3 Caffe ILSVRC實踐 

18.4 練習題 

18.5 參考資料

 

第19天  放之四海而皆準

19.1 圖像分類

19.1.1 問題描述

19.1.2 應用案例——商品分類

19.2 圖像中的字符識別

19.2.1 問題描述

19.2.2 應用案例——身份證實名認證

19.3 目標檢測

19.3.1 問題描述

19.3.2 最佳實踐——運行R-CNN例程

19.4 人臉識別

19.4.1 問題描述

19.4.2 最佳實踐——使用Face++ SDK實現人臉檢測

19.5 自然語言處理

19.5.1 問題描述

19.5.2 最佳實踐——NLP-Caffe

19.6 藝術風格

19.6.1 問題描述

19.6.2 最佳實踐——style-transfer

19.7 小結

19.8 練習題

19.9 參考資料

 

第20天  繼往開來的領路人

20.1 Caffe Traps and Pitfalls

20.1.1 不支持任意數據類型

20.1.2 不夠靈活的高級接口

20.1.3 繁雜的依賴包

20.1.4 堪憂的捲積層實現

20.1.5 架構之殤

20.1.6 應用場景局限性

20.2 最佳實踐——Caffe2

20.3 練習題 

20.4 參考資料

 

第21天  新生

21.1 三人行，必有我師 

21.2 路漫漫其修遠兮，吾將上下而求索

篇尾語

結束語

 

附錄A 其他深度學習工具