數碼相機中的圖像傳感器和信號處理

圖像傳感器已經滲透到人類生活中的各個領域。首先，人眼敏感的光譜範圍相對局限，對於非可見光範圍內的光信息接收，需要借助圖像傳感器完成； 其次，人眼所能分辨的物體的極限物理尺寸遠大於微觀尺度，故對於各種物理化學的微觀變化的研究須借助圖像傳感器成像； 再次，對於人類暫時無法到達的空間的研究，也需要借助圖像傳感器來進行； 最後，日常生活當中，圖像傳感器還能進行超高速監控，並且記錄影像。基於上述原因，圖像傳感器一經發明便在消費類電子、視頻監控、航空航天、工業、醫療、軍事等多個領域得到了廣泛應用，並且日益成為人類活動所依賴的重要工具。 根據光信號的感知和讀出方式不同，圖像傳感器可以分為CCD和CMOS（Complementary Metal Oxide Semiconductor）兩類。CCD圖像傳感器由於採用了獨特的工藝技術，其具有弱光照條件下效果好、信噪比高、色彩還原能力強等優點，從而主導了圖像傳感器感光元件領域近30年。CMOS圖像傳感器（CMOS Image Sensor，CIS）是在進入20世紀90年代後，由於對低成本成像系統的消費需求激增而開始興起的另一類圖像傳感器。CIS採用半導體電路最常用的CMOS工藝，具有集成度高、功耗小、響應速度快等優勢。隨著CMOS工藝的不斷進步，CIS已經取代了CCD圖像傳感器的市場主流地位。2014年，CIS芯片出貨量超過35億顆。 隨著圖像傳感器技術持續發展，相關著作不斷涌現，本書原著即為其中之一。本書以大眾所熟悉的數碼單反相機的發展歷史為出發點，闡述了相機中的鏡頭、感光器件和圖像處理電路等硬件的結構及原理，詳細介紹了圖像處理算法以及相機成像質量評價的相關基礎知識，是一本不可多得的、相對全面的圖像傳感技術領域專著。本書原作者及合作者均是圖像傳感領域的資深從業者，相信他們的經驗將為國內相關領域的從業者提供很好的借鑒。 本書譯者及課題組自2001年起開展CMOS圖像傳感器芯片研究，先後承擔了多項CMOS圖像傳感器和視覺信號處理芯片等領域的國家科研項目，具有扎實的理論功底和豐富的實踐經驗，這為本書的翻譯工作打下了良好的基礎。

Junichi Nakamura，在1979年和1981年於東京工業大學分別獲得電子工程的學士學位和碩士學位，並在2000年於東京大學獲電子工程的博士學位。
1981年加入了奧林巴斯光學株式會社，在光學圖像處理部門工作兩年後，他轉到了有源像素傳感器部門。
從1993年9月到1996年10月，他作為傑出訪問學者在加州理工學院的美國宇航局噴氣推進實驗室工作。
2000年，他加入加州帕薩迪納的Photobit公司，領導了若干客制傳感器的研發。
從2001年11月開始，他在鎂光日本分公司（MicronJapan，Ltd）的日本成像設計中心工作，並且是一名Micron Fellow。
Nakamura博士擔任1995年、1999年和2005年IEEE的ChargeCoupled Devicesan dAdvanced Image Sensors專題討論會的技術程序主席，並且在2002年和2003年擔任IEDM的Detectors,Sensorsand Displays小組委員會的成員。
他是IEEE的高級成員，也是Instituteof ImageIn for mationand Television Engineers of Japan的會員。
　　

徐江濤，分別於2001年、2004年和2007年在天津大學獲得微電子技術本科和微電子學與固體電子學碩士、博士學位，目前為天津大學副教授。
主要研究領域為CMOS圖像傳感器和圖像信號處理芯片。
承擔多項國家科技重大專項、國家自然科學基金等項目，成功研製名款CMOS圖像傳感器芯片。

目錄
第1章數碼相機概覽
1.1什麽是數碼相機
1.2數碼相機的歷史
1.2.1早期概念
1.2.2索尼Mavica
1.2.3靜態視頻相機
1.2.4靜態視頻系統為什麽會失敗
1.2.5數碼相機的黎明
1.2.6卡西歐QV10
1.2.7像素數量之戰
1.3數碼相機的類型
1.3.1傻瓜式相機
1.3.2單反相機
1.3.3數碼後背
1.3.4玩具相機
1.3.5可拍照手機
1.4數碼相機的基本結構
1.4.1數碼相機的典型框圖
1.4.2光學系統
1.4.3成像器件
1.4.4模擬電路
1.4.5數字電路
1.4.6系統控制
1.5數碼相機的應用
1.5.1新聞攝影
1.5.2印刷出版
1.5.3網絡應用
1.5.4其他應用

第2章數碼相機中的光學系統
2.1光學系統基礎及光學性能評價標準
2.1.1光學系統基礎
2.1.2調制傳遞函數和分辨率
2.1.3像差和點列圖
2.2數碼相機中光學系統的特點
2.2.1數碼相機成像光學系統的配置
2.2.2景深和焦深
2.2.3光學低通濾波器
2.2.4衍射的影響
2.3數碼相機成像光學系統設計的幾個重要方面
2.3.1設計過程舉例
2.3.2玻璃材料的選擇
2.3.3有效利用非球面透鏡
2.3.4鍍膜
2.3.5抑制變焦鏡頭出射光線的角度波動
2.3.6設計中對大批量生產過程的考慮
2.4數碼相機成像鏡頭變焦類型及其應用
2.4.1視頻變焦類型
2.4.2多組移動變焦鏡頭
2.4.3短變焦鏡頭
2.5總結
參考文獻

第3章圖像傳感器基礎知識
3.1圖像傳感器的功能
3.1.1光電轉換
3.1.2電荷收集與積累
3.1.3成像陣列的掃描
3.1.4電荷檢測
3.2像素中的光電探測器
3.2.1填充因子
3.2.2彩色濾光陣列
3.2.3微型透鏡陣列
3.2.4SiO2/Si接觸面的反射
3.2.5電荷收集效率
3.2.6滿阱容量
3.3噪聲
3.3.1圖像傳感器中的噪聲
3.3.2固定模式噪聲
3.3.3暫態噪聲
3.3.4拖尾和高光溢出
3.3.5圖像拖影
3.4光電轉換特性
3.4.1量子效率和響應率
3.4.2光電轉換特性機理
3.4.3靈敏度和信噪比
3.4.4如何提高信噪比
3.5陣列的性能
3.5.1調制傳遞函數
3.5.2圖像傳感器的MTF
3.5.3光學黑色像素和偽像素
3.6光學格式和像素大小
3.6.1光學格式
3.6.2像素大小的考慮
3.7CCD圖像傳感器與CMOS圖像傳感器的對比
參考文獻

第4章CCD圖像傳感器
4.1CCD基礎
4.1.1電荷耦合器件的概念
4.1.2電荷轉移機制
4.1.3錶面溝道與掩埋溝道
4.1.4典型的結構和工作方式（兩相和四相時鐘）
4.1.5輸出電路和降低噪聲： 浮置擴散電荷檢測和相關雙採樣
4.2CCD圖像傳感器的結構和特性
4.2.1幀轉移CCD和行間轉移CCD
4.2.2p襯底結構和p阱結構
4.2.3抗高光溢出和低噪聲像素（光電二極管和VCCD）
4.2.4CCD圖像傳感器的特性
4.2.5工作方法與功耗
4.3數碼相機的應用
4.3.1數碼相機的應用需求
4.3.2隔行掃描和逐行掃描
4.3.3成像操作
4.3.4像元交叉陣列結構CCD（超級CCD）
4.3.5高分辨率的靜止圖片和高幀率的視頻
4.3.6利用CCD圖像傳感器的系統解決方案
4.4發展前景
參考文獻

第5章CMOS圖像傳感器
5.1CMOS圖像傳感器簡介
5.1.1CMOS圖像傳感器的概念
5.1.2基本結構
5.1.3像素尋址和信號處理結構
5.1.4捲簾式快門和全局快門
5.1.5功耗
5.2CMOS有源像素技術
5.2.1PN光電二極管像素
5.2.2鉗位光電二極管像素
5.2.3其他大畫幅、高分辨率CMOS圖像傳感器的像素結構
5.3信號處理和噪聲特性
5.3.1像素信號讀出和FPN抑制電路
5.3.2模擬前端
5.3.3CMOS圖像傳感器的噪聲
5.4CMOS圖像傳感器的DSC應用
5.4.1片上集成和DSC產品分類
5.4.2拍攝靜態圖像的工作順序
5.4.3視頻和AE/AF模式
5.5CMOS圖像傳感器在DSC應用的展望
參考文獻

第6章圖像傳感器的測評
6.1圖像傳感器的測評是什麽
6.1.1測評的目的
6.1.2成像質量和圖像傳感器的測評參數
6.1.3圖像傳感器的測評環境
6.2測評環境
6.2.1圖像傳感器的測評和測評環境
6.2.2圖像傳感器測評環境的基本配置
6.2.3測試準備
6.3測評方法
6.3.1光子轉換特性
6.3.2光譜響應
6.3.3角度響應
6.3.4暗特性
6.3.5光照特性
6.3.6拖尾特性
6.3.7分辨率特性
6.3.8圖像拖影特性
6.3.9缺陷
6.3.10自然場景的圖像再現

第7章色彩理論及其在數碼相機中的應用
7.1色彩理論
7.1.1人類視覺系統
7.1.2顏色匹配函數和三色值
7.1.3色度及均勻顏色空間
7.1.4色差
7.1.5光源和色溫
7.2相機光譜靈敏度
7.3相機的特性描述
7.4白平衡
7.4.1白點
7.4.2色彩轉換
7.5轉換顯示(色彩管理)
7.5.1色度定義
7.5.2圖像狀態
7.5.3輪廓法
7.6總結
參考文獻

第8章圖像處理算法
8.1基本圖像處理算法
8.1.1降噪
8.1.2色彩插補
8.1.3色彩校正
8.1.4色調曲線/伽馬曲線
8.1.5濾波操作
8.2相機控制算法
8.2.1自動曝光，自動白平衡
8.2.2自動對焦
8.2.3取景器以及錄像模式
8.2.4數據壓縮
8.2.5數據存儲
8.2.6圖像變焦、尺寸縮小與剪裁
8.3高級圖像處理： 如何獲取更好的圖像質量
8.3.1色度裁剪
8.3.2高級色彩插值
8.3.3鏡頭畸變校正
8.3.4鏡頭陰影校正
參考文獻

第9章圖像處理引擎
9.1圖像處理引擎的關鍵特性
9.1.1成像功能
9.1.2功能靈活性
9.1.3成像性能
9.1.4幀頻
9.1.5半導體成本
9.1.6功耗
9.1.7上市時間的考慮
9.2成像引擎架構的比較
9.2.1圖像處理引擎架構
9.2.2通用DSP VS硬連接ASIC
9.2.3功能靈活性
9.2.4幀頻
9.2.5功耗
9.2.6上市時間的考慮
9.2.7結論
9.3模擬前端(AFE)
9.3.1相關雙採樣(CDS)
9.3.2光學黑電平鉗位
9.3.3模數轉換(ADC)
9.3.4AFE器件實例
9.4數字後端(DBE)
9.4.1特徵
9.4.2系統組成
9.5未來的設計方向
9.5.1數碼相機的發展趨勢
9.5.2模擬前端
9.5.3數字後端
參考文獻

第10章圖像質量評價
10.1什麽是圖像質量
10.2參數指標
10.2.1分辨率
10.2.2頻率響應
10.2.3噪聲
10.2.4灰度(色調曲線，伽馬特性曲線)
10.2.5動態範圍
10.2.6色彩再現
10.2.7均勻性(不均勻性，陰影)
10.3詳細的條目或者因素
10.3.1與圖像傳感器相關的問題
10.3.2和鏡頭相關的因素
10.3.3信號處理相關的因素
10.3.4系統控制因素
10.3.5其他因素： 時間和運動上的註意點
10.4圖像質量的一些標準

第11章對未來數碼相機的一些設想
11.1數碼相機圖像傳感器的未來
11.1.1未來的高端數碼單反相機傳感器
11.1.2未來的主流消費類數碼相機傳感器
11.1.3數字膠片傳感器
11.2一些未來的數碼相機
參考文獻

附錄A標準光源下每勒克斯的入射光子數
附錄B成像系統的靈敏度和ISO感光度指標