面向共融機器人的自然交互 — 多模態交互信息的情感分析

共融機器人是能夠與作業環境、人和其他機器人自然交互、自主適應復雜動態環境並協同作業的機器人。“敏銳體貼型”的自然交互是共融服務機器人的研究熱點問題之一。當前迫切需要共融機器人具備多模態交互信息的情感分析能力。本書針對多模態機器學習方法的情感分析領域，從多模態交互信息特徵的學習表示出發，系統介紹了自然交互中的特徵學習表示、特徵融合和情感分類的方法，並進一步探討瞭如何實現魯棒的多模態情感分析法。 本書是共融機器人自然交互領域國內第一本系統介紹多模態交互信息情感分析的專業書籍，可為讀者掌握共融機器人研究領域人機情感分析的關鍵技術和基礎知識，為追蹤該領域的發展前沿提供重要的學習和研究參考。

目錄

 

 

第一篇概述

第1章多模態情感分析概述3

1.1多模態情感分析相關研究概述3

1.2模態缺失相關研究概述6

1.3本章小結7

第2章多模態機器學習概述8

2.1多模態表示學習概述8

2.1.1聯合型表示學習9

2.1.2協同型表示學習9

2.2多模態表示融合概述10

2.2.1前期融合10

2.2.2中期融合10

2.2.3後期融合11

2.2.4末期融合11

2.3本章小結11

第3章多任務學習機制概述13

3.1在電腦視覺中的多任務架構13

3.2在自然語言處理中的多任務架構14

3.3在多模態學習中的多任務架構16

3.4本章小結18目錄  面向共融機器人的自然交互——多模態交互信息的情感分析  

 

第二篇多模態情感分析數據集與預處理

第4章多模態情感分析數據集簡介23

4.1CMUMOSI24

4.2CMUMOSEI24

4.3IEMOCAP24

4.4MELD25

4.5本章小結25

第5章多模態多標簽情感分析數據集構建26

5.1概述26

5.2多模態多標簽的中文情感分析數據集製作26

5.2.1數據收集和標註26

5.2.2統計和分析28

5.3本章小結29

第6章基於主動學習的多模態情感分析數據的自動標定30

6.1相關工作30

6.1.1數據標註30

6.1.2主動學習31

6.2研究方法35

6.2.1整體結構介紹36

6.2.2MMAL模塊介紹38

6.2.3半監督學習模塊40

6.3實驗設置40

6.3.1實驗參數和評價標準40

6.3.2基線模型選擇41

6.4結果分析42

6.4.1主動學習方法效果分析42

6.4.2半監督主動學習方法效果分析44

6.4.3消融實驗46

6.5本章小結47

第三篇單模態信息的情感分析

第7章基於文本的情感分析51

7.1基於情感詞典的情感分析方法52

7.2基於深度學習的情感分析方法53

7.2.1單一神經網絡的情感分析53

7.2.2混合神經網絡的情感分析53

7.2.3引入註意力機制的情感分析54

7.2.4使用預訓練模型的情感分析54

7.3本章小結55

第8章基於語音信息的情感分析56

8.1基於ConstantQ色譜圖的音頻情感分類56

8.1.1ConstantQ色譜圖抽取58

8.1.2CRLA模型59

8.1.3特徵抽取網絡59

8.1.4上下文表徵學習59

8.1.5實驗與分析60

8.2基於異構特徵融合的音頻情感分類63

8.2.1頻譜特徵抽取64

8.2.2統計特徵抽取66

8.2.3CHFFM66

8.2.4CSFM67

8.2.5實驗與分析68

8.3本章小結71

第9章基於人臉關鍵點的圖片情感分析72

9.1CMCNN73

9.1.1設計思想73

9.1.2模型整體框圖74

9.1.3CCAM75

9.1.4SCAM76

9.1.5多任務優化目標77

9.2實驗設置77

9.2.1基準數據集77

9.2.2數據預處理78

9.2.3基線方法79

9.2.4評價指標79

9.2.5訓練策略和參數設置80

9.3實驗結果和分析80

9.3.1與基線方法的結果對比80

9.3.2遷移效果驗證82

9.3.3特徵可視化83

9.3.4模塊化分析84

9.4本章小結85

第四篇跨模態信息的情感分析

第10章跨模態特徵表示方法89

10.1文本模態特徵表示方法90

10.2音頻模態特徵表示方法91

10.2.1格式轉換92

10.2.2特徵工程92

10.2.3數據對齊93

10.2.4高階特徵提取94

10.2.5融合特徵95

10.3實驗與分析97

10.3.1數據集和評價指標97

10.3.2實驗設置98

10.3.3實驗結果98

10.4不足和展望100

10.5本章小結100

第11章基於多層次信息互補的融合方法101

11.1方法102

11.1.1模態表示模塊102

11.1.2模態相似度和情緒識別多任務105

11.2實驗與分析106

11.2.1數據集106

11.2.2數據預處理106

11.2.3評價指標107

11.2.4訓練細節和參數設置107

11.2.5對比基線108

11.2.6實驗分析108

11.3不足與展望111

11.4本章小結112

第12章生成式多任務網絡的情緒識別113

12.1方法115

12.1.1情緒多任務網絡115

12.1.2生成式多任務模塊116

12.2實驗與分析117

12.2.1數據集117

12.2.2數據預處理118

12.2.3基線模型119

12.2.4評價指標以及重要參數設置119

12.2.5情緒分類實驗結果119

12.2.6實驗分析121

12.3不足與展望122

12.4本章小結122

第13章面向非對齊序列的跨模態情感分類124

13.1SAFRLM125

13.1.1多模態對齊模塊126

13.1.2融合表示初始化模塊126

13.1.3自調節模塊127

13.2實驗與分析128

13.2.1數據集及實驗設置129

13.2.2單模態特徵抽取及評價指標129

13.2.3基線模型129

13.2.4跨模態情感分類實驗結果130

13.2.5Crossmodal block的數目對實驗的影響131

13.2.6定性分析132

13.3不足與展望133

13.4本章小結133

第14章面向對齊序列的跨模態情感分類134

14.1問題定義135

14.2音頻特徵抽取與對齊135

14.3CMBERT模型135

14.3.1預訓練BERT模型136

14.3.2時序捲積層137

14.3.3Masked Multimodal Attention137

14.4實驗與分析139

14.4.1數據集和評價指標139

14.4.2實驗設置139

14.4.3跨模態情感分類實驗結果139

14.4.4註意力機制可視化分析141

14.5不足與展望143

14.6本章小結143

第五篇多模態信息的情感分析

第15章基於多任務學習的多模態情感分析模型147

15.1基於多任務學習的多模態情感分析模型概述148

15.1.1模型總體設計148

15.1.2單模態表示學習網絡149

15.1.3表示融合和分類150

15.1.4多任務優化目標151

15.2實驗設置和結果分析151

15.2.1實驗設置151

15.2.2結果與分析152

15.3本章小結156

第16章基於自監督學習的多任務多模態情感分析模型157

16.1基於自監督學習的單模態偽標簽生成模型157

16.1.1模型總體設計157

16.1.2ULGM159

16.1.3自適應的多任務損失函數162

16.2實驗設置和結果分析163

16.2.1實驗設置163

16.2.2結果與分析164

16.3本章小結168

第17章基於交叉模塊和變量相關性的多任務學習169

17.1概述169

17.2權值共享層框架169

17.3多任務學習層框架171

17.3.1多任務交叉模塊171

17.3.2基於皮爾森相關系數的特徵融合173

17.4多任務學習算法實驗175

17.4.1實驗評測指標175

17.4.2實驗條件176

17.4.3實驗結果176

17.5本章小結177

第18章基於互斥損失函數的多任務機制研究178

18.1概述178

18.2常用損失函數178

18.2.1基礎損失函數178

18.2.2中心損失函數179

18.2.3互斥損失函數180

18.3基於多任務機制的互斥損失函數181

18.4損失函數策略對比實驗182

18.4.1實驗條件182

18.4.2實驗結果182

18.5本章小結184

第19章基於多任務多模態算法的遷移學習探究185

19.1概述185

19.2遷移學習概述185

19.2.1遷移學習的背景185

19.2.2遷移學習的定義185

19.3遷移數據集186

19.4遷移實驗186

19.4.1實驗條件186

19.4.2實驗結果186

19.5本章小結187

第20章基於模態缺失的多模態情感分析方法188

20.1任務定義188

20.2處理數據缺失方法概述188

20.2.1基於模態轉譯方法189

20.2.2基於張量正則化方法190

20.3模型的框架結構191

20.3.1特徵抽取模塊192

20.3.2模態重構模塊193

20.3.3模態融合模塊194

20.3.4模型訓練195

20.4實驗195

20.4.1多模態情感分析數據集195

20.4.2模態序列特徵抽取196

20.4.3基線模型196

20.4.4實驗設置196

20.4.5評價標準197

20.5實驗分析197

20.5.1模型對缺失程度魯棒性研究197

20.5.2模型對缺失模態組合魯棒性研究200

20.5.3消融實驗200

20.6本章小結202

第六篇多模態情感分析平臺及應用

第21章多模態情感分析實驗平臺簡介205

21.1概述205

21.2平臺概覽206

21.3數據端207

21.3.1數據管理207

21.3.2數據標註208

21.4模型端209

21.4.1多模態情感分析流程210

21.4.2模型訓練與微調210

21.5分析端210

21.5.1多維結果分析211

21.5.2模型對比211

21.5.3端到端現場演示211

21.6實驗評價213

21.6.1評價基準數據集213

21.6.2評價標註結果214

21.6.3評價現場演示215

21.7本章小結215第22章擴展應用： 基於多模態臨床特徵表示與融合的端到端中醫體質

評價系統21622.1概述216

22.2中醫體質評價系統217

22.3方法218

22.3.1面診特徵表示模塊218

22.3.2舌診特徵表示模塊219

22.3.3問診特徵表示模塊219

22.3.4中醫體質預測220

22.4實驗220

22.5本章小結221

結束語222

參考文獻223

附錄A中英文縮寫對照表237

附錄B圖片索引240

附錄C表格索引243