場景建模與機器人感知

本書重點研究利用視覺信息對場景進行實時重建和理解，以實現主動交互功能。從機器人與場景建模、理解、導航、交互等領域出發，全方位地講解其所涉及的相關技術和具體實踐。本書圍繞場景建模與機器人感知的主題，建立了一個多學科交叉融合的知識體系，主要面向對電腦圖形學、電腦視覺和機器人感興趣的高年級本科生、研究生及相關技術人員。本書將理論與實踐相結合，既包含最基礎的算法，又涉及**的技術，並附以詳細的代碼或偽代碼資源，以及“章節知識點”等特色內容，期望為從事該領域相關工作的人員提供一些有效的參考。

 

 

目錄

第1章三維重建

 

1.1概述

 

1.2國內外主要研究工作

 

1.2.1基於多視圖幾何的三維重建

 

1.2.2基於深度學習的三維重建

 

1.2.3小結

 

1.3技術實踐

 

1.3.1技術案例一： 基於多任務的深度圖預測

 

1.3.2技術案例二： 主動式目標三維重建與補全優化

 

1.3.3技術案例三： 基於模型替換的場景建模

 

1.3.4技術案例四： 基於無監督學習的場景重建

 

1.3.5技術案例五： 基於單視角圖像的場景重建

 

1.4本章小結

 

1.5思考題

 

參考文獻

 

第2章場景探索

 

2.1概述

 

2.2國內外主要研究工作

 

2.2.1三維重建中的場景探索

 

2.2.2視覺語義導航中的場景探索

 

2.2.3小結

 

2.3技術實踐

 

2.3.1技術案例一： 對象感知引導的自主場景三維重建

 

2.3.2技術案例二： 面向未知三維場景重建系統的設計與實現

 

2.3.3技術案例三： 視覺語義導航中基於語義場景補全的

場景探索

 

2.4本章小結

 

2.5思考題

 

參考文獻

 

第3章場景理解

 

3.1概述

 

3.2國內外主要研究工作

 

3.2.1基於物體檢測與分類的室內場景理解

 

3.2.2基於場景圖發掘物體關聯的室內場景理解

 

3.2.3小結

 

3.3技術實踐

 

3.3.1技術案例一： 基於捲積神經網絡的點雲語義分割與分類

 

3.3.2技術案例二： 基於三維場景點雲的場景圖生成

 

3.4本章小結

 

3.5思考題

 

參考文獻

 

 

 

 

 

 

第4章機器人導航與避障

 

4.1概述

 

4.2國內外主要研究工作

 

4.2.1經典重定位算法

 

4.2.2基於深度學習的重定位算法

 

4.2.3經典導航與避障算法

 

4.2.4基於深度學習的導航與避障算法

 

4.2.5小結

 

4.3技術實踐

 

4.3.1技術案例一： 基於特徵數據庫匹配的相機重定位

 

4.3.2技術案例二： 基於深度學習的相機重定位

 

4.3.3技術案例三： 基於相機重定位的機器人導航

 

4.3.4技術案例四： 基於已知柵格地圖的機器人避障

 

4.3.5技術案例五： 基於深度強化學習的多智能體避障

 

4.3.6技術案例六： 基於單目相機的復雜場景自主避障

 

4.4本章小結

 

4.5思考題

 

參考文獻

 

第5章機器人抓取

 

5.1概述

 

5.2國內外主要研究工作

 

5.2.1基於分析法和經驗法的抓取方式檢測

 

5.2.2基於深度學習的抓取方式檢測

 

5.2.3小結

 

5.3技術實踐

 

5.3.1技術案例一： 基於物體交互動力學的抓取姿態檢測

 

5.3.2技術案例二： 基於主動學習的機器人抓取

 

5.3.3技術案例三： 基於Faster RCNN的機器人抓取

 

5.3.4技術案例四： 基於弱監督語義分割網絡的機器人抓取

 

5.3.5技術案例五： 基於生成式的抓取姿態檢測

 

5.4本章小結

 

5.5思考題

 

參考文獻

 

第6章綜合項目實踐： 面向機器人任務的三維場景建模與理解

 

6.1項目實踐背景

 

6.2項目實踐概述

 

6.3項目實踐結構

 

6.4主要模塊設計與實現

 

6.4.1多個RGBD相機的驅動與信息採集

 

6.4.2基於多RGBD相機融合的室內場景三維重建

 

6.4.3基於RGBD序列的場景標記技術方法

 

6.4.4平臺設計

 

6.5本章小結

 

6.6思考題

 

參考文獻