三維實景可視化室內定位導航技術

較好地體現了當前室內定位導航的現狀與最新發展。本書深入淺出地介紹了三維實景視覺室內定位的相關內容。全書共14 章，第1～6 章首先對圖像、照相機、全局特徵和局部特徵等重要概念進行了介紹和定義，然後進階地介紹了圖像特徵點求解及特徵匹配的方法；第7～9 章首先介紹了幾何變換的定義和方法及照相機位置的求解方法，然後重點介紹了利用SLAM 技術進行室內定位與建圖的原理和方法；第10～14 章主要介紹了圖像拼接、點雲、可視化建圖、語義標註、語義建圖等內容，通過這些技術手段，可以進一步提高定位和建圖的質量與效果。從第3 章開始，後續各章均有一節實踐供讀者學習和嘗試。

第1 章 緒論 .............................................................................................................................. 1
1.1 室內定位系統概述 ..................................................................................................... 1
1.1.1 室內定位系統的發展歷史 ............................................................................. 1
1.1.2 主流室內定位技術 ......................................................................................... 2
1.2 電腦視覺 ................................................................................................................. 6
1.2.1 電腦視覺簡介 ............................................................................................. 6
1.2.2 電腦視覺的應用方向 ................................................................................. 7
1.3 本書架構 ..................................................................................................................... 9
第2 章 圖像的基本概念 ........................................................................................................ 10
2.1 圖像與視頻 ............................................................................................................... 10
2.1.1 GIF ................................................................................................................ 10
2.1.2 PNG ............................................................................................................... 11
2.1.3 BMP .............................................................................................................. 12
2.1.4 JPEG .............................................................................................................. 14
2.1.5 H.264 ............................................................................................................. 19
2.2 圖像的數學表徵 ....................................................................................................... 20
2.2.1 圖像基本模型 ............................................................................................... 20
2.2.2 圖像數字化 ................................................................................................... 21
2.2.3 數字圖像表示 ............................................................................................... 22
2.3 數字圖像性質 ........................................................................................................... 23
2.3.1 距離度量與距離變換 ................................................................................... 23
2.3.2 像素鄰接性和區域性質 ............................................................................... 25
2.3.3 拓撲性質 ....................................................................................................... 28
2.4 彩色圖像 ................................................................................................................... 28
2.4.1 彩色基礎 ....................................................................................................... 28
2.4.2 RGB 彩色模型 .............................................................................................. 30
2.4.3 灰度圖像 ....................................................................................................... 31
2.5 深度圖像 ................................................................................................................... 31
2.5.1 深度圖像概念 ............................................................................................... 31
2.5.2 深度圖像的獲取 ........................................................................................... 32
2.6 數字圖像的採集 ....................................................................................................... 33
2.6.1 採集裝置 ....................................................................................................... 33
2.6.2 性能指標 ....................................................................................................... 35
2.6.3 採集模型 ....................................................................................................... 35
2.6.4 成像方式 ....................................................................................................... 36
第3 章 照相機與照相機參數 ................................................................................................ 38
3.1 照相機種類 ............................................................................................................... 38
3.1.1 單目照相機 ................................................................................................... 38
3.1.2 雙目照相機 ................................................................................................... 40
3.1.3 深度照相機 ................................................................................................... 42
3.1.4 魚眼照相機 ................................................................................................... 43
3.2 照相機參數 ............................................................................................................... 44
3.2.1 旋轉與平移 ................................................................................................... 44
3.2.2 照相機標定 ................................................................................................... 47
3.3 鏡頭畸變 ................................................................................................................... 48
3.4 實踐：電腦圖像處理 ........................................................................................... 50
3.4.1 OpenCV 的使用............................................................................................ 50
3.4.2 圖像畸變糾正 ............................................................................................... 52
第4 章 圖像全局特徵 ............................................................................................................ 55
4.1 概述 ........................................................................................................................... 55
4.2 顏色特徵 ................................................................................................................... 55
4.2.1 HOG 特徵 ..................................................................................................... 56
4.2.2 哈希特徵 ....................................................................................................... 61
4.2.3 顏色矩 ........................................................................................................... 64
4.2.4 顏色相關圖 ................................................................................................... 65
4.3 紋理特徵 ................................................................................................................... 65
4.3.1 小波變換 ....................................................................................................... 66
4.3.2 Gabor 變換 .................................................................................................... 69
4.3.3 Gist 特徵 ....................................................................................................... 74
4.4 實踐：全局特徵提取 ............................................................................................... 75
第5 章 圖像局部特徵 ............................................................................................................ 83
5.1 概述 ........................................................................................................................... 83
5.2 Harris 角點 ................................................................................................................ 83
5.3 FAST 特徵 ................................................................................................................. 86
5.4 霍夫變換 ................................................................................................................... 87
5.4.1 霍夫線變換 ................................................................................................... 88
5.4.2 霍夫圓變換 ................................................................................................... 89
5.5 SIFT 特徵 .................................................................................................................. 90
5.5.1 尺度空間極值檢測 ....................................................................................... 91
5.5.2 關鍵點定位 ................................................................................................... 93
5.5.3 關鍵點方向確定 ........................................................................................... 94
5.5.4 關鍵點描述 ................................................................................................... 95
5.6 SURF 特徵 ................................................................................................................ 96
5.6.1 構建Hessian 矩陣生成關鍵點 .................................................................... 97
5.6.2 構建尺度空間 ............................................................................................... 98
5.6.3 確定關鍵點方向 ........................................................................................... 99
5.6.4 生成特徵描述子 ........................................................................................... 99
5.7 ORB 特徵 ................................................................................................................ 100
5.7.1 改進的FAST 角點提取 .............................................................................. 100
5.7.2 BRIEF 特徵描述子 ..................................................................................... 101
5.8 實踐：圖像局部特徵提取 ..................................................................................... 102
第6 章 圖像的特徵匹配 ...................................................................................................... 106
6.1 概述 ......................................................................................................................... 106
6.2 度量函數 ................................................................................................................. 106
6.3 特徵點匹配優化算法 ............................................................................................. 107
6.3.1 距離篩選算法 ............................................................................................. 108
6.3.2 交叉匹配算法 ............................................................................................. 109
6.3.3 KNN 算法 ................................................................................................... 109
6.3.4 RANSAC 算法 ............................................................................................ 110
6.4 實踐：圖像特徵匹配 ............................................................................................. 112
第7 章 幾何變換 .................................................................................................................. 115
7.1 概述 ......................................................................................................................... 115
7.2 幾何基元 ................................................................................................................. 115
7.3 二維空間中的變換 ................................................................................................. 117
7.4 三維空間中的變換 ................................................................................................. 119
7.5 旋轉向量 ................................................................................................................. 122
7.6 實踐：運動軌跡繪制代碼實現 ............................................................................. 122
第8 章 照相機位置估計與求解 .......................................................................................... 124
8.1 概述 ......................................................................................................................... 124
8.2 照相機建模 ............................................................................................................. 124
8.2.1 投射投影矩陣和非固有參數 ..................................................................... 124
8.2.2 照相機固有參數矩陣 ................................................................................. 126
8.3 視覺定位中的圖像特徵描述子 ............................................................................. 128
8.3.1 圖像檢索流程 ............................................................................................. 128
8.3.2 全局特徵描述子 ......................................................................................... 129
8.3.3 局部特徵描述子 ......................................................................................... 130
8.4 對極幾何約束 ......................................................................................................... 132
8.4.1 模型描述 ..................................................................................................... 132
8.4.2 本質矩陣 ..................................................................................................... 133
8.4.3 基本矩陣 ..................................................................................................... 134
8.5 實踐：對極幾何約束求解照相機運動位置 ......................................................... 135
第9 章 同步定位與地圖構建 .............................................................................................. 137
9.1 概述 ......................................................................................................................... 137
9.2 IMU 和RGB-D 照相機模型分析 .......................................................................... 138
9.2.1 IMU 模型 .................................................................................................... 138
9.2.2 針孔成像模型 ............................................................................................. 140
9.2.3 RGB-D 照相機和IMU 聯合標定 .............................................................. 141
9.3 室內建圖系統關鍵技術分析 ................................................................................. 143
9.3.1 剛體運動的三維表示 ................................................................................. 143
9.3.2 傳感器的位姿估計問題 ............................................................................. 144
9.3.3 非線性優化 ................................................................................................. 145
9.4 RGB-D 照相機和IMU 信息的前端處理 .............................................................. 146
9.4.1 IMU 預積分 ................................................................................................ 146
9.4.2 特徵點提取與追蹤 ..................................................................................... 148
9.4.3 PnP 估計幀間位姿 ..................................................................................... 151
9.5 聯合初始化和後端優化 ......................................................................................... 153
9.5.1 RGB-D 照相機和IMU 的旋轉估計對齊 .................................................. 153
9.5.2 RGB-D 照相機和IMU 的位移估計對齊 .................................................. 154
9.5.3 後端優化與點雲建圖 ................................................................................. 154
9.6 系統性能分析 ......................................................................................................... 157
9.6.1 位姿估計誤差分析 ..................................................................................... 157
9.6.2 點雲建圖實驗結果分析 ............................................................................. 162
9.7 實踐：BA 問題求解 .............................................................................................. 165
9.7.1 Ceres 求解BA 問題 ................................................................................... 165
9.7.2 g2o 求解BA 問題 ...................................................................................... 167
第10 章 圖像拼接 ................................................................................................................ 170
10.1 概述 ....................................................................................................................... 170
10.2 圖像預處理 ........................................................................................................... 170
10.2.1 圖像幾何校正 ........................................................................................... 170
10.2.2 圖像投影變換 ........................................................................................... 171
10.2.3 圖像配準 ................................................................................................... 173
10.3 圖像拼接融合 ....................................................................................................... 175
10.3.1 平均值融合算法 ....................................................................................... 176
10.3.2 加權平均融合算法 ................................................................................... 176
10.3.3 漸入漸出融合算法 ................................................................................... 177
10.3.4 多頻段融合算法 ....................................................................................... 178
10.4 實踐：圖像拼接 ................................................................................................... 180
第11 章 點雲 ........................................................................................................................ 183
11.1 概述 ....................................................................................................................... 183
11.1.1 點雲和點雲庫概念 ................................................................................... 183
11.1.2 點雲處理在各領域的應用 ....................................................................... 184
11.2 PCL ........................................................................................................................ 186
11.2.1 數據類型 ................................................................................................... 186
11.2.2 PCL 常用代碼模塊 ................................................................................... 187
11.2.3 PCL 點雲處理 ........................................................................................... 187
11.3 K 維樹和八叉樹 .................................................................................................... 188
11.3.1 K 維樹 ....................................................................................................... 189
11.3.2 八叉樹 ....................................................................................................... 190
11.4 點雲濾波 ............................................................................................................... 190
11.4.1 濾波概述 ................................................................................................... 190
11.4.2 雙邊濾波算法 ........................................................................................... 192
11.4.3 剔除點雲離群點 ....................................................................................... 193
11.4.4 點雲下採樣 ............................................................................................... 194
11.5 三維-三維：ICP 點雲匹配 .................................................................................. 195
11.5.1 點雲配準定義 ........................................................................................... 195
11.5.2 ICP 算法 .................................................................................................... 196
11.6 實踐：點雲濾波和點雲配準 ............................................................................... 198
第12 章 可視化建圖與渲染 ............................................................................................... 202
12.1 概述 ....................................................................................................................... 202
12.2 單目稠密重建 ....................................................................................................... 203
12.2.1 稀疏重建與稠密重建的區別 ................................................................... 203
12.2.2 單目稠密重建方法 ................................................................................... 203
12.3 稠密建圖 ............................................................................................................... 206
12.3.1 稠密重建方法 ........................................................................................... 206
12.3.2 PMVS 算法 ............................................................................................... 207
12.4 圖形渲染 ............................................................................................................... 207
12.4.1 預渲染與實時渲染的區別 ....................................................................... 207
12.4.2 WebGL 與渲染管線 ................................................................................. 208
12.5 點雲渲染與可視化 ............................................................................................... 209
12.5.1 基於面片的渲染算法 ............................................................................... 209
12.5.2 網格重建 ................................................................................................... 210
12.6 實踐：點雲曲面重建 ........................................................................................... 213
第13 章 圖像語義基本概念與標註方法 ............................................................................ 215
13.1 圖像語義基本概念 ............................................................................................... 215
13.1.1 定義 ........................................................................................................... 215
13.1.2 語義研究內容 ........................................................................................... 216
13.1.3 圖像語義分析與應用 ............................................................................... 217
13.2 圖像級標註 ........................................................................................................... 223
13.3 像素級標註 ........................................................................................................... 226
13.4 實踐：目標檢測 ................................................................................................... 229
13.4.1 電腦硬件基礎 ....................................................................................... 229
13.4.2 深度學習環境配置 ................................................................................... 229
第14 章 圖像語義獲取方法與應用.................................................................................... 233
14.1 機器學習 ............................................................................................................... 233
14.2 圖像語義模型 ....................................................................................................... 236
14.3 圖像語義分割 ....................................................................................................... 240
14.4 圖像標註和目標識別 ........................................................................................... 246
14.5 實踐：利用自己的數據集實現目標檢測 ........................................................... 252