自動駕駛汽車視覺和行為實踐用 Python3 和 OpenCV4 探索視覺感知、車道檢測和物體分類 Hands-On Vision and Behavior for Self-Driving Cars: Explore visual perception, lane detection, and object classification with Python 3 and OpenCV 4

本書將使用OpenCV完成各種任務，包括行人檢測和車道檢測。
本書將講述深度學習並介紹如何利用它進行圖像分類、對象檢測和語義分割，使用它來識別行人、汽車、道路、
人行道和交通信號燈，同時幫助讀者了解一些有影響力的神經網絡算法。
本書中還將使用Carla模擬器通過行為克隆和PID控制器來控制汽車；
了解網絡協議、傳感器、攝像頭以及使用激光雷達來繪製周圍的世界並找到相應位置。
本書適合具備任何一種編程語言基礎的程序員，以及車輛工程和自動駕駛相關專業的研究生閱讀使用。

目錄
前言
第一部分
OpenCV和傳感器及信號
第1 章OpenCV 基礎知識和攝像頭標定／ ００２
1.1 技術需求／ ００３
1.2 OpenCV 和NumPy 簡介／ ００３
1.2.1 OpenCV 和NumPy ／ ００３
1.2.2 圖像大小／ ００３
1.2.3 灰度圖／ ００４
1.2.4 RGB 圖／ ００５
1.3 處理圖像文件／ ００６
1.4 處理視頻文件／ ００７
1.5 圖像處理／ ００８
1.5.1 圖像翻轉／ ００９
1.5.2 圖像模糊化／ ００９
1.5.3 改變對比度、亮度和灰度係數／ ０１１
1.5.4 繪製矩形和文本／ ０１２
1.6 使用HOG 進行行人檢測／ ０１３
1.6.1 滑動窗口／ ０１３
1.6.2 使用OpenCV 中的HOG ／ ０１３
1.6.3 攝像頭簡介／ ０１４
1.6.4 攝像頭術語／ ０１５
1.6.5 攝像頭組件／ ０１９
1.6.6 選擇攝像頭的注意事項／ ０１９
1.6.7 攝像頭的優點和缺點／ ０２０
1.7 使用OpenCV 進行攝像頭標定／ ０２１
1.7.1 畸變檢測／ ０２２
1.7.2 校準／ ０２２
1.8 總結／ ０２３
1.9 問題／ ０２４
第2 章理解和使用信號／ ０２５
2.1 技術需求／ ０２６
2.2 理解信號的類型／ ０２６
2.3 模擬信號與數字信號／ ０２６
2.4 串行和並行／ ０２８
2.4.1 通用異步接收和發送（UART） ／ ０２９
2.4.2 差分與單端／ ０３２
2.4.3 I2 C ／ ０３４
2.4.4 SPI ／ ０３６
2.5 基於幀的串行協議／ ０３９
2.5.1 理解CAN ／ ０３９
2.5.2 以太網和因特網協議／ ０４２
2.5.3 理解UDP ／ ０４４
2.5.4 理解TCP ／ ０４５
2.6 總結／ ０４８
2.7 問題／ ０４８
2.8 擴展閱讀／ ０４９
第3 章車道檢測／ ０５０
3.1 技術需求／ ０５１
3.2 閾值處理／ ０５１
3.2.1 閾值在不同顏色空間中如何工作／ ０５１
3.2.2 RGB/BGR ／ ０５２
3.2.3 HLS ／ ０５３
3.2.4 HSV ／ ０５４
3.2.5 LAB ／ ０５４
3.2.6 YCbCr ／ ０５５
3.2.7 選擇通道／ ０５５
3.3 透視校正／ ０５５
3.4 邊緣檢測／ ０５７
3.4.1 插值閾值／ ０５９
3.4.2 組合閾值／ ０６０
3.5 利用直方圖確定車道線／ ０６１
3.6 滑動窗口算法／ ０６２
3.6.1 初始化／ ０６３
3.6.2 滑動窗口坐標／ ０６３
3.6.3 多項式擬合／ ０６４
3.7 增強視頻／ ０６５
3.8 滾動平均／ ０６６
3.9 總結／ ０６６
3.10 問題／ ０６７
第二部分
利用深度學習和神經網絡改進自動
駕駛汽車的工作方式
第4 章基於神經網絡的深度學習／ ０７０
4.1 技術需求／ ０７１
4.2 理解機器學習和神經網絡／ ０７１
4.2.1 神經網絡／ ０７２
4.2.2 神經元／ ０７２
4.2.3 參數／ ０７４
4.2.4 深度學習的成功／ ０７４
4.3 了解卷積神經網絡／ ０７５
4.3.1 卷積／ ０７５
4.3.2 為什麼卷積這麼棒／ ０７６
4.4 Keras 和TensorFlow 入門／ ０７７
4.5 檢測MNIST 手寫數字／ ０７８
4.5.1 剛剛加載了什麼／ ０７８
4.5.2 訓練樣本和標籤／ ０７９
4.5.3 獨熱編碼／ ０８０
4.5.4 訓練數據集和測試數據集／ ０８１
4.6 確定神經網絡模型／ ０８１
4.6.1 LeNet ／ ０８１
4.6.2 代碼／ ０８２
4.6.3 框架／ ０８３
4.6.4 訓練神經網絡／ ０８４
4.6.5 CIFAR?10 數據集／ ０８７
4.7 總結／ ０９２
4.8 問題／ ０９２
4.9 擴展閱讀／ ０９２
第5 章深度學習工作流／ ０９３
5.1 技術需求／ ０９４
5.2 獲取數據集／ ０９４
5.2.1 Keras 模塊中的數據集／ ０９４
5.2.2 現有數據集／ ０９５
5.2.3 合成數據集／ ０９６
5.2.4 自定義數據集／ ０９６
5.3 理解三種數據集／ ０９６
5.4 理解分類器／ ０９８
5.4.1 生成真實數據集／ ０９９
5.4.2 數據增強／ ０９９
5.5 模型／ １０１
5.5.1 調整捲積層／ １０２
5.5.2 調整大池化層／ １０５
5.5.3 調整全連接層／ １０６
5.5.4 如何訓練神經網絡／ １０７
5.5.5 隨機初始化／ １０８
5.5.6 過擬合與欠擬合／ １０９
5.6 可視化激活／ １１０
5.7 推理／ １１２
5.8 重訓練／ １１３
5.9 總結／ １１３
5??10 問題／ １１４
第6 章改進神經網絡／ １１５
6.1 技術需求／ １１６
6.2 更大的模型／ １１６
6.2.1 出發點／ １１６
6.2.2 提高速度／ １１７
6.2.3 增加深度／ １１９
6.3 更高效的神經網絡／ １２１
6.4 通過批歸一化構建更智能的
神經網絡／ １２４
6.5 早停法／ １２８
6.6 通過數據增強改進數據集／ １２８
6.7 使用隨機失活提高驗證準確率／ １３１
6.7.1 將模型應用於MNIST 數據集／ １３５
6.7.2 現在輪到你了／ １３６
6.8 總結／ １３７
6.9 問題／ １３７
第7 章檢測行人和交通信號燈／ １３８
7.1 技術需求／ １３９
7.2 使用SSD 檢測行人、車輛和交通信號燈／ １３９
7.2.1 使用Carla 模擬器收集圖像／ １３９
7.2.2 解讀SSD ／ １４３
7.2.3 探索TensorFlow 檢測模型庫／ １４３
7.2.4 下載和加載SSD ／ １４５
7.2.5 運行SSD ／ １４５
7.2.6 圖像註釋／ １４７
7.3 檢測交通信號燈的顏色／ １４８
7.3.1 創建交通信號燈數據集／ １４８
7.3.2 解讀遷移學習／ １５０
7.3.3 了解ImageNet ／ １５１
7.3.4 關於AlexNet 的探究／ １５２
7.3.5 用Inception 來進行圖像分類／ １５４
7.3.6 利用Inception 進行遷移學習／ １５５
7.3.7 將數據集輸入Inception ／ １５７
7.3.8 遷移學習的性能表現／ １５８
7.3.9 改善遷移學習／ １５９
7.4 識別交通信號燈及其顏色／ １６１
7.5 總結／ １６２
7.6 問題／ １６３
7.7 擴展閱讀／ １６３
第8 章行為克隆／ １６４
8.1 技術需求／ １６５
8.2 教神經網絡如何使用行為
克隆駕駛／ １６５
8.3 DAVE?2 簡介／ １６６
8.3.1 初識manual_control.py ／ １６７
8.3.2 錄製一段視頻／ １６９
8.3.3 神經網絡建模／ １７６
8.3.4 訓練回歸神經網絡／ １７７
8.3.5 可視化顯著圖／ １７９
8.4 神經網絡與Carla 的集成／ １８４
8.5 自動駕駛／ １８８
8.5.1 使用生成器在更大的數據集上
訓練／ １８９
8.5.2 一種複雜的數據增強方法／ １９０
8.6 總結／ １９１
8.7 問題／ １９１
8.8 擴展閱讀／ １９１
第9 章語義分割／ １９２
9.1 技術需求／ １９３
9.2 引入語義分割／ １９３
9.2.1 確定目標／ １９４
9.2.2 收集數據集／ １９４
9.2.3 修改synchronous_mode??py ／ １９６
9.3 理解用於分類的DenseNet ／ １９７
9.3.1 總覽DenseNet 的架構／ １９７
9.3.2 理解密集塊／ １９８
9.4 使用CNN 分割圖像／ ２０１
9.5 調整DenseNet 進行語義分割／ ２０１
9.6 編寫FC?DenseNet 模塊／ ２０２
9.6.1 組合構件／ ２０４
9.6.2 為神經網絡提供輸入／ ２０５
9.6.3 運行神經網絡／ ２０８
9.7 改善效果較差的語義分割／ ２１１
9.8 總結／ ２１２
9.9 問題／ ２１２
9??10 擴展閱讀／ ２１２
第三部分
建圖和控制
第10 章轉向、加速和製動控制／ ２１４
10.1 技術需求／ ２１５
10.2 為什麼需要控制／ ２１５
10.3 控制器類型／ ２１６
10.3.1 PID 控制器／ ２１６
10.3.2 MPC ／ ２２０
10.4 在Carla 中實現PID 控制器控制／ ２２４
10.4.1 安裝Carla ／ ２２４
10.4.2 複製Packt?Town04 ?PID.py 腳本／ ２２５
10.4.3 瀏覽Packt?Town04 ?PID.py 腳本／ ２２５
10.4.4 PID 縱向控制器／ ２２８
10.4.5 PID 橫向控制器／ ２３０
10.4.6 運行腳本／ ２３２
10.5 C++ 中的MPC 實例／ ２３３
10.6 總結／ ２３７
10.7 問題／ ２３７
10.8 擴展閱讀／ ２３７
第11 章環境建圖／ ２３８
11.1 技術需求／ ２３９
11.2 為什麼需要地圖和定位／ ２３９
11.2.1 地圖／ ２３９
11.2.2 定位／ ２４０
11.3 建圖和定位的類型／ ２４０
11.4 開源建圖工具／ ２４４
11.5 基於Ouster 激光雷達和Google Cartographer 的SLAM ／ ２４５
11.5.1 Ouster 傳感器／ ２４５
11.5.2 代碼倉／ ２４５
11.5.3 從cartographer_ros 開始／ ２４５
11.5.4 Docker 鏡像／ ２５１
11.6 總結／ ２５６
11.7 問題／ ２５７
11.8 擴展閱讀／ ２５７
答案／ ２５８
第1 章／ ２５８
第2 章／ ２５８
第3 章／ ２５９
第4 章／ ２５９
第5 章／ ２５９
第6 章／ ２５９
第7 章／ ２６０
第8 章／ ２６０
第9 章／ ２６０
第10 章／ ２６１
第11 章／ ２６１