計算機視覺教程（微課版 第3版）

章毓晉，1989年獲比利時列日大學應用科學博士學位。1989年至1993年先後為荷蘭德爾夫特大學博士後及研究人員。1993年到清華大學工作，1997年起被聘為教授，1998年起被聘為博士生導師，2014年起被聘為教學科研系列的“長聘教授”。已在國內外發表了500多篇圖像工程研究論文，出版了40多本教材和專著。曾任第24屆國際圖像處理會議（ICIP?2017）等20多個國內外學術會議的程序委員會主席。現為中國圖象圖形學學會副理事長；國際光學工程協會（SPIE）會士（因在圖像工程方面的成就）。

1、　緒論

　1.1 計算機視覺　1

　1.1.1 視覺概述　1

　1.1.2 計算機視覺的目標　2

　1.1.3 相關學科　2

　1.1.4 應用領域　4

　1.2 圖像基礎　4

　1.2.1 圖像及類別　4

　1.2.2 圖像表達和顯示　6

　1.2.3 圖像存儲　7

　1.3 像素間聯系　10

　1.3.1 像素鄰域　10

　1.3.2 像素間距離　11

　1.4 本書內容提要　15

　1.4.1 計算機視覺系統及模塊　15

　1.4.2 如何學習使用本書　16

　總結和復習　19

2、　圖像采集　21

　2.1 采集裝置　21

　2.2 采集模型　23

　2.2.1 幾何成像模型　23

　2.2.2 亮度成像模型　28

　2.2.3 空間和幅度分辨率　31

　2.3 采集方式　32

　2.3.1 成像方式一覽　32

　2.3.2 結構光法　33

　2.4 攝像機標定　34

　2.4.1 標定程序和步驟　34

　2.4.2 兩級標定法　37

　總結和復習　40

3、　基元檢測　42

　3.1 邊緣檢測　42

　3.1.1 檢測原理　42

　3.1.2 一階導數算子　43

　3.1.3 二階導數算子　47

　3.1.4 邊界閉合　51

　3.1.5 邊界細化　51

　3.2 SUSAN算子　52

　3.2.1 USAN原理　53

　3.2.2 角點和邊緣檢測　53

　3.3 哈裏斯興趣點算子　56

　3.4 哈夫變換　58

　3.3.1 基本哈夫變換　58

　3.3.2 廣義哈夫變換　61

　3.3.3 完整廣義哈夫變換　63

　3.5 橢圓定位和檢測　64

　3.6 位置直方圖技術　66

　總結和復習　68

4、　顯著性檢測　71

　4.1 顯著性概述　71

　4.2 基於對比度的檢測　74

　4.2.1 對比度算法分類　74

　4.2.2 基於對比度幅值　74

　4.2.3 基於對比度分布　75

　4.2.4 基於最小方向對比度　77

　4.3 基於最穩定區域的檢測　79

　4.3.1 區域顯著性　79

　4.3.2 最穩定區域　80

　4.3.3 顯著性計算　82

　4.3.4 顯著性後處理　83

　4.4 顯著目標區域提取及效果評價　84

　4.4.1 顯著目標區域提取　84

　4.4.2 顯著區域提取效果評價　85

　總結和復習　89

5、　目標分割　91

　5.1 輪廓搜索　91

　5.1.1 圖搜索　91

　5.1.2 動態規劃　93

　5.2 主動輪廓模型　94

　5.2.1 主動輪廓　94

　5.2.2 能量函數　95

　5.3 基本閾值技術　97

　5.3.1 原理和分類　97

　5.3.2 全局閾值的選取　98

　5.3.3 局部閾值的選取　100

　5.3.4 動態閾值的選取　103

　5.4 特色閾值方法　103

　5.4.1 多分辨率閾值　103

　5.4.2 過渡區閾值　105

　5.5 特征空間聚類　107

　5.5.1 基本聚類方法　107

　5.5.2 均移確定聚類中心　108

　總結和復習　109

6、　目標表達和描述　111

　6.1 基於邊界的表達　111

　6.1.1 鏈碼　111

　6.1.2 邊界段和凸包　113

　6.1.3 邊界標記　114

　6.2 基於區域的表達　117

　6.2.1 四叉樹　117

　6.2.2 金字塔　118

　6.2.3 圍繞區域　119

　6.2.4 骨架　119

　6.3 基於邊界的描述　122

　6.3.1 邊界長度和直徑　122

　6.3.2 邊界形狀數　123

　6.3.3 輪廓形狀矩陣　124

　6.4 基於區域的描述　124

　6.4.1 區域面積和密度　124

　6.4.2 區域形狀數　125

　6.4.3 區域不變矩　126

　6.4.4 拓撲描述符　128

　總結和復習　129

7、　紋理分析　131

　7.1 統計描述方法　131

　7.1.1 灰度共生矩陣　131

　7.1.2 基於共生矩陣的描述　133

　7.1.3 基於能量的描述　133

　7.2 結構描述方法　135

　7.2.1 結構描述原理　135

　7.2.2 紋理鑲嵌　137

　7.2.3 局部二值模式　138

　7.3 頻譜描述方法　140

　7.3.1 傅裏葉頻譜描述　140

　7.3.2 貝塞爾-傅裏葉頻譜描述　141

　7.3.3 蓋伯頻譜描述　142

　7.4 紋理圖像分割　144

　7.4.1 有監督紋理分割　144

　7.4.2 無監督紋理分割　146

　總結和復習　148

8、　形狀分析　150

　8.1 形狀緊湊性描述符　150

　8.2 形狀復雜性描述符　157

　8.3 基於多邊形的形狀分析　159

　8.3.1 多邊形計算　159

　8.3.2 多邊形描述　160

　8.4 基於曲率的形狀分析　162

　8.4.1 輪廓曲率　162

　8.4.2 曲面曲率　165

　8.5 拓撲結構參數　166

　總結和復習　167

9、　立體視覺　169

　9.1 立體視覺模塊　169

　9.2 雙目成像和視差　171

　9.2.1 雙目橫向模式　171

　9.2.2 雙目橫向會聚模式　173

　9.2.3 雙目縱向模式　174

　9.3 基於區域的立體匹配　175

　9.3.1 模板匹配　175

　9.3.2 雙目立體匹配　177

　9.4 基於特征的立體匹配　183

　9.4.1 點對點的方法　183

　9.4.2 動態規劃匹配　185

　總結和復習　186

10、三維景物恢復　189

　10.1 由光移恢復表面朝向　189

　10.1.1 表面反射特性　189

　10.1.2 目標表面朝向　192

　10.1.3 反射圖　193

　10.1.4 光度立體學求解　195

　10.2 從影調獲取形狀信息　196

　10.2.1 影調與形狀　196

　10.2.2 求解亮度方程　198

　10.3 紋理變化與表面朝向　200

　10.3.1 三種典型變化　200

　10.3.2 確定線段的紋理消失點　203

　10.4 根據焦距確定深度　206

　總結和復習　207

11、運動分析　209

　11.1 運動分類和表達　209

　11.2 全局運動檢測　212

　11.2.1 利用圖像差的檢測　213

　11.2.2 基於模型的檢測　215

　11.3 運動目標檢測和分割　217

　11.3.1 背景建模　217

　11.3.2 運動目標跟蹤　220

　11.3.3 運動目標分割　224

　11.4 運動光流和表面取向　225

　11.4.1 光流約束方程　225

　11.4.2 光流計算　225

　11.4.3 光流與表面取向　229

　總結和復習　232

12、景物識別　234

　12.1 統計模式分類　234

　12.1.1 模式分類原理　234

　12.1.2 最小距離分類器　235

　12.1.3 最優統計分類器　236

　12.1.4 自適應自舉　239

　12.2 感知機　240

　12.2.1 感知機原理　240

　12.2.2 線性可分類感知機　241

　12.2.3 線性不可分類感知機　242

　12.3 支持向量機　243

　12.3.1 線性可分類支持向量機　243

　12.3.2 線性不可分類支持向量機　245

　12.4 結構模式識別　246

　12.4.1 字符串結構識別　246

　12.4.2 樹結構識別　249

　總結和復習　251

13、廣義匹配　253

　13.1 目標匹配　253

　13.1.1 匹配的度量　254

　13.1.2 字符串匹配　257

　13.1.3 慣量等效橢圓匹配　258

　13.1.4 形狀矩陣匹配　259

　13.2 動態模式匹配　260

　13.3 關系匹配　263

　13.3.1 關系表達和距離　263

　13.3.2 關系匹配模型　264

　13.4 圖同構匹配　266

　13.4.1 圖論基礎　266

　13.4.2 圖同構和匹配　268

　總結和復習　270

14、時空行為理解　272

　14.1 時空技術　272

　14.2 時空興趣點　273

　14.3 動態軌跡學習和分析　275

　14.3.1 自動場景建模　276

　14.3.2 路徑學習　277

　14.3.3 自動活動分析　279

　14.4 動作分類和識別　280

　14.4.1 動作分類　280

　14.4.2 動作識別　281

　14.5 活動和行為建模　285

　14.5.1 動作建模　285

　14.5.2 活動建模和識別　288

　總結和復習　291

15、場景解釋　293

　15.1 線條圖標記解釋　293

　15.2 體育比賽視頻排序　296

　15.2.1 基於內容檢索　296

　15.2.2 視頻節目精彩度排序　298

　15.3 計算機視覺系統模型　302

　15.3.1 多層次串行結構　302

　15.3.2 知識庫為中心的輻射結構　303

　15.3.3 知識庫為根的樹結構　303

　15.3.4 多模塊交叉配合結構　304

　15.4 計算機視覺理論框架　305

　15.4.1 馬爾視覺計算理論　305

　15.4.2 對馬爾理論框架的改進　308

　15.4.3 新理論框架的研究　309

　總結和復習　311

部分練習題解答　313

參考文獻　318

索引　324