高真實感虛實融合的光影計算

劉艷麗，女，四川大學計算機學院教授，博士生導師，視覺合成圖形圖像技術國防重點學科實驗室副主任，中國計算機學會虛擬現實與可視化專委會委員，中國圖像圖形學會智能圖形學專委會委員，四川省非遺數字化專委會副會長。長期從事計算機圖形學、計算機視覺、圖像/視頻處理與等領域交叉方向的研究。近年來的研究方向主要包括虛擬現實/增強現實、數字孿生、人臉識別等，其中在面向增強現實的光照分析與重建、基於在線視頻的陰影檢測與處理、面向人臉識別的光照分析與處理等方面的研究處於國際前列。研究成果在相關領域包括頂級期刊與會議IEEE Transactions on Visualization and Computer Graphics (TVCG)、IEEE Transactions on Multimedia (TMM) 、IEEE Virtual Reality、ACM Multimedia等在內的國內外重要學術期刊與會議上發表論文50余篇。主持科研項目包括自然科學基金面上項目和青年項目、四川省重點研發計劃項目、總裝預研項目、十三五國家科技支撐計劃子課題和多項企業合作項目等。劉艷麗教授先後獲得2012年度陸增鏞CAD&CG高科技獎、四川省海外高層次留學人才、2021年度四川大學中青年科技創新領軍人才等獎項與稱號。

 

目錄

 

第1章虛實融合概述

 

1.1虛實融合的一致性條件

 

1.2虛實融合的基本流程

 

1.3虛實融合與增強現實/混合現實/擴展現實/元宇宙

 

1.4虛實融合的主要應用領域

 

1.4.1軍事

 

1.4.2智能制造

 

1.4.3醫療

 

1.4.4教育

 

1.4.5文化旅遊

 

1.4.6娛樂與遊戲

 

第2章光影計算的相關工作

 

2.1自然場景的光影特點分析

 

2.1.1室外場景

 

2.1.2室內場景

 

2.2光照計算的概念與流程

 

2.2.1從光源的入射光強到場景表面的照度

 

2.2.2從場景表面的照度到場景采樣點投向觀察方向的光亮度

 

2.2.3從場景采樣點投向觀察方向的光亮度到圖像的像素值

 

2.3光照計算的已有方法

 

2.3.1直接測量的方法

 

2.3.2基於采集的方法

 

2.3.3基於參數表達式逆向求解的方法

 

2.3.4基於深度學習的方法

 

第3章室內場景的光照計算

 

3.1空間變化的單幅圖像室內光照自動重建方法

 

3.1.1室內光照模型

 

3.1.2室內場景光照計算

 

3.1.3實驗結果

 

3.2室內場景動態光照的在線采集與計算方法

 

3.2.1算法框架

 

3.2.2離線處理

 

3.2.3在線運行

 

3.2.4實驗結果

 

3.3基於光照變化預測的深度室內動態光照計算方法

 

3.3.1方法概述

 

3.3.2光照差值圖像的定義與生成

 

3.3.3光源掩膜的定義與生成

 

3.3.4網絡模塊與結構

 

3.3.5損失函數

 

3.3.6實驗方案與結果分析

 

第4章室外場景的光照計算

 

4.1基於交互的室外場景光照計算

 

4.2基於統計學習的室外場景實時光照計算

 

4.2.1紋理圖像的統計分析

 

4.2.2室外光照模型

 

4.2.3光照的統計模型

 

4.2.4基於統計學習的光照參數計算框架

 

4.2.5系統實現

 

4.2.6實驗結果

 

4.2.7證明

 

4.3基於基圖像分解的室外場景實時光照計算

 

4.3.1線性模型

 

4.3.2基於基圖像分解的光照計算框架

 

4.3.3實驗結果

 

4.4無陰影的室外場景實時光照計算

 

4.4.1離線處理

 

4.4.2光照參數在線計算

 

4.4.3實驗結果

 

4.5基於完備天空光模型/球面調和函數的室外光照計算

 

4.5.1球面調和函數

 

4.5.2室外場景光照計算

 

4.5.3實驗結果

 

4.6移動視點下基於特征點跟蹤的實時光照計算

 

4.6.1方法概述

 

4.6.2光照參數計算

 

4.6.3特征點的選取

 

4.6.4特征點屬性傳遞

 

4.6.5實驗結果

 

第5章本征圖像分解與圖像重光照

 

5.1基於用戶交互的單幅室內RGBD圖像本征圖像分解

 

5.1.1本征圖像模型

 

5.1.2遠距離光源分布計算

 

5.1.3本征圖像分解

 

5.1.4實驗結果

 

5.2多光源混合環境下的單幅室內RGBD圖像本征圖像分解

 

5.2.1混合光源本征圖像模型

 

5.2.2遠距離光照恢復

 

5.2.3本征成分恢復

 

5.2.4實驗結果

 

5.3基於稀疏圖像的室外場景重光照

 

5.3.1室外場景光照模型

 

5.3.2室外場景重光照方法

 

5.3.3實驗結果

 

5.4基於非對稱生成對抗網絡的人臉圖像光照歸一化

 

5.4.1算法思路

 

5.4.2網絡結構

 

5.4.3損失函數

 

5.4.4網絡的實現和優化

 

5.4.5實驗結果

 

第6章室外場景的陰影檢測與陰影去除

 

6.1陰影檢測與陰影消除簡介

 

6.1.1陰影特征

 

6.1.2陰影檢測方法

 

6.1.3陰影去除算法

 

6.2基於集成學習的單幅圖像陰影檢測

 

6.2.1算法思路

 

6.2.2相對置信度圖預測網絡

 

6.2.3陰影圖生成

 

6.2.4訓練策略

 

6.2.5實驗結果

 

6.3單幅圖像的陰影檢測算法評價

 

6.3.1網絡結構

 

6.3.2質量參考構建模塊

 

6.3.3多模式質量回歸模塊

 

6.3.4損失函數 

 

6.3.5訓練和測試策略

 

6.3.6實驗與結果分析

 

6.4基於邊緣跟蹤的在線視頻陰影檢測

 

6.4.1算法結構概述

 

6.4.2跟蹤區域中陰影邊緣的校正

 

6.4.3新進區域中陰影邊緣的預測和優化

 

6.4.4實驗結果分析

 

6.5基於邊緣關註的單幅圖像陰影去除

 

6.5.1算法結構概述

 

6.5.2交互模塊

 

6.5.3損失函數

 

6.5.4實現細節

 

6.5.5實驗結果

 

第7章室外場景虛實景物的陰影相互投射與融合

 

7.1虛擬景物在真實景物表面的陰影投射

 

7.1.1陰影投射方法

 

7.1.2軟影生成方法

 

7.2基於陰影體的虛實場景陰影交互

 

7.2.1陰影體的構建與優化方法

 

7.2.2基於陰影體的虛實陰影交互與融合方法

 

7.2.3實驗結果

 

7.3基於陰影紋理的虛實陰影交互

 

7.3.1真實陰影向虛擬景物表面的投射方法

 

7.3.2虛實陰影融合方法

 

7.3.3實驗結果

 

參考文獻