具身智能數據工程:標準、技術與實踐指南
夏軒 俞波 劉少山
相關主題
商品描述
本書聚焦於具身智能數據工程領域的標準、技術和實踐,全面且系統地闡述了具身智能機器人數據生產的關鍵技術與所面臨的挑戰。開篇詳細介紹了具身智能技術的發展現狀、應用領域及產業發展,繼而深入講解了機器人數據采集基礎知識,涵蓋采集系統的硬件與軟件系統架構、數據集構建方法,以及真實世界數據采集和仿真環境數據生成技術。書中通過對工業、服務業等不同場景下機器人數據采集的具體案例進行深入分析,展現了各應用場景獨特的需求與面臨的難題。此外,作者還著重介紹了通用具身智能數據生產平臺 AIRSPEED 在解決數據采集瓶頸問題上的卓越表現,並對機器人數據采集的未來趨勢與技術創新方向進行了前瞻性的展望。
本書內容豐富、實用性強,適合具身智能機器人研究人員、人工智能與機器學習工程師、機器人系統開發人員與企業家、數據隱私與安全專業人士,以及廣大學生和愛好者閱讀,是了解和掌握具身智能數據工程的實用資料。
作者簡介
夏軒,博士,深圳人工智能與機器人研究院(AIRS)具身智能中心副研究員,深圳市
後備級人才。研究方向包括具身智能數據平臺、多模態學習、計算機視覺、生成式 AI 等。目前在 AIRS 負責開源具身智能數據平臺 AIRSPEED 項目。
俞波,博士,AIRS 具身智能中心研究員,國際電氣電子工程師學會(IEEE)高級會
員。研究方向包括具身智能、無人駕駛、機器人計算等。目前在 AIRS 負責開源具身智能計算平臺 AIRSTONE 項目。
劉少山,博士,AIRS 具身智能中心主任,IEEE 國際設備和系統路線圖-機器人計算方
向主席,IEEE 創業協會亞洲區主席,國際計算機學會(ACM)技術政策委員會成員。研究方向包括機器人計算、無人駕駛、科技政策等。目前在 AIRS 負責開源具身智能系統
AIRSHIP 項目。
目錄大綱
第 1 章 具身智能技術概述1
11 具身智能的基本概念 1
12 從“數字大腦”向“具身主體”的範式轉變 4
13 具身智能產業發展趨勢 4
131 投資增長 6
132 產業鏈成長 7
133 應用領域擴大 9
14 具身智能數據工程 11
第 2 章 具身智能數據工程基礎14
21 數據來源 15
22 技術路線 18
23 數據需求 20
231 訓練的需求方模型 21
232 模型訓練的數據需求 22
24 具身智能數據瓶頸 22
241 數據需求期望公式 22
242 數據瓶頸 23
第 3 章 具身智能機器人數據采集采統25
31 具身智能機器人數據采集系統架構 25
311 設計原則 26
312 架構分類 27
32 真實世界數據采集系統 31
321 遙操作類數據采集系統架構 32
322 示教類數據采集系統架構 37
33 仿真環境數據生成系統 39
331 系統架構 39
332 系統應用 44
第 4 章 具身智能數據標準46
41 具身智能數據集的分類 46
411 演示數據集 47
412 具身問答數據集 60
413 基準數據集 67
42 機器人訓練數據集的基本規範 75
421 機器人訓練數據集的基本架構規範 75
422 機器人訓練數據集的基本指標規範 80
43 人形機器人數據采集規範 82
431 人形機器人數據采集模型 83
432 人形機器人數據要求 88
433 人形機器人數據采集質量與安全要求 91
第 5 章 具身智能的真實世界數據采集技術93
51 遙操作類數據采集技術 93
511 位姿類遙操作技術 95
512 視覺類遙操作技術 106
513 光慣類遙操作技術 113
52 示教類數據采集技術 119
521 直接示教技術 119
522 間接示教技術 120
53 本章小結 134
第 6 章 具身智能的仿真環境數據生成技術135
61 機器人仿真平臺簡介 136
611 仿真平臺的特性 136
612 仿真平臺的發展 136
613 常見的機器人仿真平臺 137
62 仿真環境數據生成技術 146
621 軌跡合成 148
622 資產合成 152
623 決策生成 156
624 預測生成 166
63 本章小結 174
第 7 章 工業機器人的數據采集176
71 工業場景的分類與機器人能力需求 176
711 工業場景的分類 176
712 工業機器人的能力需求 181
72 工業機器人的數據采集需求 183
721 采礦業機器人的數據采集需求 183
722 制造業機器人的數據采集需求 184
723 電力、熱力、燃氣及水生產和供應業機器人的數據采集需求 186
724 建築業機器人的數據采集需求 187
第 8 章 服務業機器人的數據采集189
81 服務業場景的分類與機器人能力需求 189
811 服務業場景的分類 189
812 服務業機器人的能力需求 191
82 服務業機器人的數據采集需求 193
821 家庭服務機器人的數據采集需求 193
822 商業服務機器人的數據采集需求 194
823 醫療服務機器人的數據采集需求 195
824 教育服務機器人的數據采集需求 196
825 公共服務機器人的數據采集需求 197
第 9 章 通用具身智能數據生產平臺AIRSPEED 199
91 AIRSPEED 系統設計 199
911 AIRSPEED 數據采集服務設計 201
912 AIRSPEED 數據生成服務設計 205
913 AIRSPEED 數據集構建服務設計 206
914 AIRSPEED 兼容性設計 208
92 AIRSPEED 數據采集實踐 217
921 ROS 2 架構示例 217
922 基於光慣遙操作系統的數據采集 218
923 實踐結果 226
93 AIRSPEED 數據生成實踐 226
931 ROS 2 架構示例 227
932 基於虛擬遙操作系統的數據生成 228
933 實踐結果 230
94 AIRSPEED 數據飛輪實踐 231
941 基於 ACT 算法的數據飛輪 231
942 實踐結果 233
95 本章小結 235
第 10 章 總結與展望236
101 當前技術的局限性 237
102 具身智能數據隱私與安全挑戰 243
103 未來發展趨勢 245