智能圖像處理

葛廣英，南京大學工學博士，山東省自動化協會理事，碩士生導師。長期從事圖像處理與模式識別方面的教學和科研工作。主講《現代數字信號處理》、《數字圖像處理》等多門本科生和研究生課程。發表學術論文70余篇，已出版編著5部教材。作為課題負責人和技術負責人承擔了山東省科技發展計劃項目、橫向課題等20余項，獲得山東省科技進步三等獎等30余項科研獎勵，獲得“中青年學術骨幹和學術帶頭人培養對象”、“面向二十一世紀高層次人材培養工程培養對象”、“ 人才”等榮譽稱號。擔任 學位中心、山東省教育廳評審專家，以及《電子與信息》學報評審專家。

目錄
前言

第1章　影像處理基礎　1
1.1　影像處理簡介　1
1.1.1　影像處理的發展概況　2
1.1.2　影像處理的應用領域　3
1.1.3　影像處理的目的與常用方法　4
1.2　影像的表示方法　5
1.2.1　數位影像的表示　5
1.2.2　數位影像的矩陣表示　6
1.2.3　數位影像處理中的座標系　6
1.3　影像像素的基本關係　7
1.3.1　像素的鄰域　7
1.3.2　影像像素間的距離　8
1.4　常用的影像處理工具　8
1.5　Python 數位影像處理函式庫　10
1.6　Python 整合環境的安裝　12
1.6.1　Anaconda 整合環境的下載與安裝　12
1.6.2　PyCharm 整合環境的下載與安裝　17
1.7　習題　22

第2章　數位影像的取得與基本運算　23
2.1　影像的基本類型　23
2.1.1　二值影像　23
2.1.2　灰階影像　24
2.1.3　索引影像　24
2.1.4　彩色影像　24
2.2　影像的格式　25
2.2.1　靜態影像格式　25
2.2.2　影片影像格式　26
2.3　影像的取得　27
2.3.1　影像的讀取　28
2.3.2　影像的顯示　28
2.3.3　影像的儲存　30
2.3.4　影像的屬性　31
2.3.5　影像的複製與克隆　32
2.4　影片影像的取得　34
2.4.1　影片檔案的讀寫　34
2.4.2　即時影片影像的取得　35
2.5　影像的算術運算　36
2.5.1　加法運算　36
2.5.2　減法運算　39
2.5.3　乘法運算　41
2.5.4　除法運算　41
2.6　影像的邏輯運算　42
2.6.1　位元與運算　43
2.6.2　位元或運算　44
2.6.3　位元非運算　44
2.6.4　位元互斥或運算　45
2.6.5　影像的感興趣區域與感興趣區域操作　47
2.6.6　利用 mask 進行影像疊加　48
2.7　圖形的繪製與文字新增　51
2.7.1　影像中圖形的繪製　51
2.7.2　影像新增非中文字　55
2.7.3　影像新增中文字　56
2.8　習題　57

第3章　數位影像的幾何轉換　58
3.1　影像的映射轉換與插值方法　58
3.1.1　影像的映射轉換　58
3.1.2　影像轉換的插值方法　60
3.2　影像平移與縮放　63
3.2.1　影像平移　63
3.2.2　影像縮放　66
3.3　影像旋轉　67
3.3.1　影像不完整旋轉　67
3.3.2　影像完整旋轉　69
3.3.3　使用特定函式的旋轉　70
3.4　影像裁切　72
3.4.1　影像規則裁切　72
3.4.2　影像不規則裁切　73
3.5　影像的鏡像轉換　75
3.6　影像的仿射轉換與透視轉換　76
3.6.1　影像的仿射轉換　76
3.6.2　影像的透視轉換　78
3.7　影像的極座標轉換　82
3.7.1　資料點座標系間的轉換　82
3.7.2　影像資料座標系間的轉換　83
3.7.3　影片影像座標系間的轉換　85
3.8　習題　87

第4章　影像空域增強　88
4.1　灰階線性轉換　88
4.1.1　影像亮度增加或降低　88
4.1.2　增強或減弱影像對比度　90
4.1.3　影像反色轉換　91
4.1.4　影像分段線性灰階轉換　93
4.2　非線性轉換　94
4.2.1　對數轉換　94
4.2.2　伽瑪轉換　96
4.3　影像直方圖　98
4.3.1　使用 OpenCV 中的函式繪製
直方圖　98
4.3.2　使用 Matplotlib 函式庫繪製影像直方圖　99
4.4　直方圖等化　101
4.4.1　直方圖等化原理　102
4.4.2　使用 OpenCV 函式實作直方圖等化　103
4.4.3　自適應直方圖等化　105
4.5　直方圖規定化　106
4.5.1　自訂映射函式實作直方圖規定化　107
4.5.2　直方圖反向投影　111
4.6　習題　114

第5章　影像空域濾波　115
5.1　影像雜訊　115
5.1.1　透過 NumPy 陣列函式庫新增雜訊　115
5.1.2　透過 skimage 函式庫新增雜訊　121
5.2　空域濾波　123
5.2.1　線性空域濾波與非線性濾波　123
5.2.2　影像濾波邊界處理　124
5.3　影像平滑　126
5.3.1　均值濾波　126
5.3.2　方框濾波　128
5.3.3　高斯濾波　129
5.3.4　中值濾波　131
5.3.5　自適應中值濾波　133
5.3.6　高斯雙邊濾波　137
5.3.7　均值漂移濾波　138
5.3.8　導向濾波　140
5.3.9　非區域均值濾波　141
5.4　影像銳化　144
5.4.1　拉普拉斯濾波　144
5.4.2　自訂卷積核心濾波　147
5.4.3　非銳化遮罩與高頻提升濾波　148
5.5　習題　149

第6章　影像頻域濾波　151
6.1　傅立葉轉換　151
6.1.1　NumPy 中的傅立葉轉換　152
6.1.2　OpenCV 中的傅立葉轉換　153
6.2　低通濾波　155
6.2.1　理想低通濾波　155
6.2.2　巴特沃斯低通濾波　158
6.2.3　高斯低通濾波　162
6.3　高通濾波　166
6.3.1　理想高通濾波　166
6.3.2　巴特沃斯高通濾波　169
6.3.3　高斯高通濾波　171
6.4　帶通與帶阻濾波　173
6.4.1　帶通濾波　173
6.4.2　帶阻濾波　178
6.5　同態濾波　182
6.6　習題　185

第7章　影像退化與復原　186
7.1　影像退化與復原的機制　186
7.1.1　影像退化　186
7.1.2　影像復原　187
7.2　影像模糊　188
7.2.1　運動模糊退化模型　188
7.2.2　湍流模糊退化模型　191
7.3　影像的反濾波復原　193
7.3.1　運動模糊影像的反濾波　193
7.3.2　湍流模糊影像的反濾波　194
7.4　影像的維納濾波復原　197
7.5　限制最小平方法濾波復原　200
7.6　幾何平均濾波復原　203
7.7　影像修補與復原　205
7.8　影像品質評估　206
7.8.1　主觀評估方法　207
7.8.2　客觀評估方法　207
7.9　習題　216

第8章　影像數學形態學　217
8.1　結構元素　217
8.1.1　使用 OpenCV 產生結構元素　217
8.1.2　使用 NumPy 產生結構元素　218
8.2　侵蝕　219
8.2.1　OpenCV 中的侵蝕函式　221
8.2.2　skimage 中的侵蝕函式　222
8.3　膨脹　223
8.3.1　OpenCV 中的膨脹函式　225
8.3.2　skimage 中的膨脹函式　226
8.3.3　OpenCV 形態學處理原型函式　227
8.4　開運算　228
8.4.1　OpenCV 中的開運算　228
8.4.2　skimage 中的開運算　229
8.5　閉運算　230
8.5.1　OpenCV 中的閉運算　230
8.5.2　skimage 中的閉運算　231
8.6　頂帽運算　232
8.6.1　OpenCV 中的頂帽運算　232
8.6.2　skimage 中的頂帽運算　234
8.7　黑帽運算　235
8.7.1　OpenCV 中的黑帽運算　235
8.7.2　skimage 中的黑帽運算　236
8.8　形態學梯度　237
8.9　灰階形態學　240
8.9.1　灰階影像的侵蝕運算　240
8.9.2　灰階影像的膨脹運算　241
8.9.3　灰階影像的開運算與閉運算　242
8.10　利用形態學運算檢測影像的邊緣與角點　243
8.10.1　影像邊緣檢測　243
8.10.2　影像角點檢測　245
8.11　擊中與未擊中運算　248
8.12　習題　249

第9章　邊緣偵測　250
9.1　一階微分算子　251
9.1.1　Roberts 算子　251
9.1.2　Prewitt 算子　253
9.1.3　Sobel 算子　253
9.1.4　Scharr 算子　256
9.2　二階微分算子　257
9.2.1　拉普拉斯算子　257
9.2.2　高斯拉普拉斯算子　260
9.2.3　高斯差分算子　262
9.3　Canny 算子　264
9.4　霍夫轉換　268
9.4.1　霍夫轉換的基本原理　268
9.4.2　霍夫轉換偵測直線　269
9.4.3　霍夫轉換偵測圓環　275
9.4.4　skimage 函式庫中的霍夫轉換　277
9.5　影像金字塔　280
9.5.1　高斯金字塔　281
9.5.2　拉普拉斯金字塔　283
9.5.3　基於拉普拉斯金字塔的影像融合　286
9.6　習題　290

第10章　影像分割　291
10.1　影像閾值分割　291
10.1.1　全域閾值分割　292
10.1.2　自適應閾值　294
10.1.3　Otsu 演算法　295
10.1.4　三角形法　297
10.2　影像區域分割　298
10.2.1　區域成長　298
10.2.2　區域分裂與合併　300
10.3　影像邊緣分割　302
10.4　直方圖分割法　304
10.5　影像連通元件標記演算法　306
10.6　分水嶺演算法　308
10.6.1　基於距離轉換的分水嶺演算法　309
10.6.2　基於標記點的分水嶺演算法　312
10.6.3　基於均值漂移演算法的影像分割　313
10.7　基於梯度的分水嶺演算法　315
10.7.1　基於 Sobel 梯度的分水嶺演算法　316
10.7.2　基於形態學梯度的分水嶺演算法　317
10.7.3　基於輪廓標記的分水嶺演算法　319
10.7.4　滑鼠互動標記的分水嶺演算法　320
10.8　基於 k 均值分群的區域分割　323
10.9　習題　326

第11章　彩色影像處理　327
11.1　彩色模型與色彩空間轉換　327
11.1.1　彩色模型　327
11.1.2　色彩空間轉換　331
11.2　彩色影像通道的分離與合併　334
11.2.1　彩色影像通道分離　335
11.2.2　彩色影像通道合併　336
11.3　全彩影像處理　337
11.3.1　彩色影像轉換　338
11.3.2　彩色影像直方圖處理　339
11.3.3　彩色影像平滑與銳化　341
11.4　RGB 色彩空間的影像分割　344
11.4.1　全域閾值影像分割　344
11.4.2　區域閾值影像分割　345
11.4.3　Otsu 閾值影像分割　347
11.4.4　基於顏色資訊的影像分割　347
11.5　HSV 色彩空間的影像分割　348
11.5.1　基於顏色閾值表的影像分割　349
11.5.2　基於色條的影像分割　352
11.6　偽彩色影像處理　355
11.6.1　灰階影像生成彩色影像　355
11.6.2　多光譜影像合成彩色影像　357
11.7　習題　359

第12章　影像特徵擷取與描述　360
12.1　影像特徵簡介　360
12.2　影像輪廓特徵　361
12.2.1　影像輪廓的搜尋與繪製　361
12.2.2　邊緣偵測後的輪廓　363
12.2.3　使用輪廓繪製功能擷取前景影像　364
12.3　影像幾何特徵　365
12.3.1　面積與周長　365
12.3.2　外接矩形　366
12.3.3　最小外接圓與內接橢圓　368
12.3.4　近似輪廓　369
12.3.5　輪廓凸包　371
12.3.6　直線擬合　372
12.3.7　形狀特徵　373
12.4　影像特徵矩　375
12.4.1　影像特徵矩簡介　375
12.4.2　Hu 矩　380
12.4.3　形狀匹配　382
12.5　影像角點偵測　384
12.5.1　Harris 角點偵測　385
12.5.2　Shi-Tomasi 角點偵測　386
12.5.3　SIFT 角點偵測　387
12.6　影像比對　390
12.6.1　ORB 特徵偵測＋暴力比對　390
12.6.2　k 最近鄰比對　393
12.6.3　FLANN 比對　394
12.7　影像拼接　395
12.7.1　SIFT＋暴力比對實作影像拼接　395
12.7.2　Stitcher 全景拼接　397
12.8　習題　399

第13章　綜合應用實例　400
13.1　Haar 特徵與級聯分類器的目標偵測　400
13.1.1　Haar 特徵與級聯分類器　400
13.1.2　基於 Haar 特徵分類器的車牌偵測　402
13.1.3　基於 Haar 特徵分類器的人臉偵測　403
13.2　答題卡的偵測與分割　405
13.2.1　答題卡輪廓偵測　405
13.2.2　答題卡不同區域的擷取　406
13.2.3　填塗答案的識別　407
13.2.4　答題卡使用者介面的設計與封裝　411
13.3　基於 CNN 模型的手勢識別　414
13.3.1　手勢影像資料的蒐集　415
13.3.2　神經網路模型的建立與訓練　416
13.3.3　即時手勢數字識別　419
13.4　基於深度學習的花卉識別系統　421
13.4.1　花卉影像資料的蒐集　421
13.4.2　資料集分類　421
13.4.3　MobileNet 神經網路模型的設計與測試　423
13.4.4　圖形化使用者介面設計　427
13.5　口罩配戴偵測　430
13.5.1　口罩資料集的蒐集與處理　431
13.5.2　資料集的切分　434
13.5.3　資料集訓練　436
13.5.4　偵測是否配戴口罩　438
13.5.5　影片即時監測口罩配戴情況　439

參考文獻　442