多模態具身智能機器人開發

楊淑瑩，博士，天津理工大學計算機科學與工程學院教授，碩士研究生導師，天津市“教學名師”，中國圖像圖形學學會第五屆理事會學術委員會委員。多年來在圖像、語音、時間序列等方面進行模式識別相關工作的深入研究，涉及模式識別，數字圖像處理、信號與信息處理、智能計算等領域。承擔並完成 、市級自然科學基金項目多項，獲得天津市科學技術進步獎2項，發表論文50多篇；撰寫專著6部。現任 精品課、 精品資源共享課負責人；主編教材獲得 “十一五”規劃教材和 “十二五”規劃教材；獲得市級教學成果獎3項。

第1章 概述
1.1 智能機器人簡介
1.2 在Web環境下控制實體機器人的優勢
1.3 在Web環境下控制虛擬機器人的優勢
1.4 人工智能關鍵技術
1.5 機器人視覺技術
1.6 智能機器人的語音交互技術
1.7 手語翻譯機器人
1.8 人工智能與機器人
第2章 智能機器人手語翻譯系統設計
2.1 系統功能
2.2 系統設計
2.3 手語翻譯控制模塊設計
2.3.1 虛擬機器人制作模塊
2.3.2 實體機器人搭建模塊
2.3.3 人工智能識別模塊
2.4 系統開發環境介紹
第3章 虛擬機器人制作技術
3.1 Maya介紹
3.2 虛擬機器人動畫制作流程
3.3 HumanIK骨骼綁定
3.4 蒙皮
3.5 關鍵幀動畫制作
3.5.1 關鍵幀
3.5.2 插入關鍵幀
3.5.3 使用Babylon.js插件導出glb文件
3.6 虛擬機器人動畫制作
3.6.1 添加骨骼
3.6.2 繪制蒙皮權重
3.6.3 動畫制作與導出
3.7 常用手語動作庫
第4章 實體機器人控制技術
4.1 舵機
4.2 STM32開發板
4.3 實體機器人手臂舵機控制
4.3.1 5自由度機械臂
4.3.2 機械臂動作編碼
4.4 實體機器人手指舵機控制
4.4.1 5自由度機械手
4.4.2 機械手動作編碼
4.5 實體機器人頭部舵機控制
4.6 實體機器人移動體舵機控制
4.7 ZigBee無線通信控制
4.7.1 ZigBee無線通信模塊
4.7.2 基於ZigBee無線通信控制實體機器人手臂
4.7.3 基於ZigBee無線通信控制實體機器人手指
4.8 HC-12無線通信控制
4.8.1 HC-12無線通信模塊
4.8.2 基於HC-12無線通信控制實體機器人手臂
4.8.3 基於HC-12無線通信控制實體機器人手指
4.9 一對四無線通信控制
4.9.1 一對四無線通信設計
4.9.2 實體機器人手語動作庫
4.9.3 基於STM32的機械臂動作編碼提取
4.9.4 基於STM32的機械手動作編碼提取
4.9.5 基於ZigBee的一對四無線通信
4.9.6 基於HC-12的一對四無線通信
第5章 基於深度學習模型CNN的漢字識別
5.1 深度學習技術概述
5.2 CNN基本概念
5.3 漢字識別系統設計
5.4 漢字圖像預處理
5.5 投影與分割
5.6 構建漢字識別模型
5.6.1 構建CNN
5.6.2 模型訓練
5.7 漢字識別模型檢驗
第6章 基於深度學習模型CNN的語音識別
6.1 語音識別系統設計
6.2 語音信號預處理及特征提取
6.2.1 語音信號預處理
6.2.2 MFCC特征提取
6.3 構建語音識別模型
6.3.1 構建CNN
6.3.2 模型訓練
6.4 語音識別模型檢驗
第7章 基於深度學習模型Faster R-CNN的手勢識別
7.1 R-CNN目標檢測與識別模型
7.2 邊框回歸原理
7.3 Faster R-CNN目標檢測與識別模型
7.3.1 Faster R-CNN的框架結構
7.3.2 基於RPN的目標檢測
7.3.3 基於RoI池化和分類技術的目標識別
7.4 手勢識別系統設計
7.5 構建手勢識別模型
7.5.1 構建Faster R-CNN
7.5.2 模型訓練
7.6 手勢識別模型檢驗
第8章 基於Web的虛擬機器人控制技術
8.1 Web開發關鍵技術
8.2 前後端信息交互編程基礎
8.2.1 前端頁面設計
8.2.2 基於AJAX的前後端交互基礎
8.2.3 前後端發送字符串
8.2.4 前後端發送JSON數據
8.2.5 前後端收發JSON字符串
8.3 圖片上傳技術
8.4 視頻上傳技術
8.5 語音上傳技術
8.6 Web環境下的虛擬機器人動畫演示技術
8.7 基於Flask的視覺感知控制虛擬機器人
8.8 基於Flask的聽覺感知控制虛擬機器人
第9章 機器人智能應答關鍵技術
9.1 智能應答技術概述
9.2 構建問答數據集
9.3 jieba分詞
9.3.1 jieba分詞簡介
9.3.2 jieba分詞實現方法
9.3.3 虛擬機器人分詞動作演示
9.4 基於餘弦相似度的短文本計算
9.4.1 餘弦相似度算法的基本原理
9.4.2 餘弦相似度計算
9.4.3 Word2Vec+餘弦相似度計算
9.4.4 TF-IDF+餘弦相似度計算
9.5 基於SimHash算法的長文本相似度計算
9.5.1 SimHash算法原理
9.5.2 SimHash相似度計算
9.6 基於Levenshtein距離的文本相似度計算
9.7 相似度算法比較
0章 基於Web的漢字控制機器人
10.1 Web交互功能設計
10.2 前端用戶選擇漢字圖像
10.3 將漢字圖像傳遞到後端
10.4 後端通過CNN實現漢字識別
10.5 將識別結果返回前端展示
10.6 通過數據庫查詢手語動作編碼
10.7 Web串口通信技術
10.8 虛實結合智能控制機器人
1章 基於Web的語音控制機器人
11.1 Web交互功能設計
11.2 音頻文件的前後端交互
11.3 語音特征的前後端交互
11.4 語音識別的前後端交互
11.4.1 後端語音識別
11.4.2 前端展示識別結果
11.5 虛實結合語音控制機器人
11.5.1 文本分詞的