面向共融機器人的自然交互——命名實體識別與關系抽取

共融機器人是能夠與作業環境、人和其他機器人自然交互、自主適應復雜動態環境並協同作業的機器人。“敏銳體貼型”的自然交互是共融服務機器人的研究熱點之一，業內當前迫切需要共融機器人具備理解復雜語義信息的能力。本書立足於深度學習方法的信息與知識抽取領域，從學習文本表示出發，系統地介紹了用於獲取現實世界知識信息中命名實體和實體關系的方法，並深入探討瞭如何在開放領域實現魯棒的實體關系分析。 本書是國內共融機器人自然交互領域第一本系統介紹深度學習的命名實體識別和關系抽取的專業書籍，可為讀者掌握共融機器人研究領域信息與知識抽取的關鍵技術和基礎知識，追蹤該領域的發展前沿提供參考，適合人工智能科學與技術、人工智能等專業的學生及相關研究者閱讀。

 

目錄

 

第1篇引言

第1章對話信息中的命名實體識別3

1.1命名實體識別概述3

1.2相關研究方法概述5

1.2.1詞嵌入表示方法5

1.2.2上下文編碼架構7

1.2.3標簽解碼網絡8

1.3本章小結8

第2章垂直領域的實體關系分析10

2.1抽取垂直領域的實體關系11

2.1.1基於有監督方法的關系抽取11

2.1.2基於遠程監督方法的關系抽取12

2.1.3基於小樣本學習方法的關系抽取13

2.1.4實體和關系聯合抽取13

2.2相關研究方法綜述14

2.2.1捲積神經網絡14

2.2.2註意力機制14

2.2.3圖神經網絡15

2.2.4對抗訓練15

2.3本章小結16

第3章開放領域的實體關系分析17

3.1開放領域的實體關系抽取17

3.2相關研究方法綜述18

3.2.1自監督學習18

3.2.2開放世界分類18

3.2.3無監督聚類19

3.2.4深度度量學習19

3.2.5持續學習19

3.2.6對比學習20

3.3本章小結20

本篇小結21

目錄  面向共融機器人的自然交互——命名實體識別與關系抽取〖2〗〖2〗 〖1〗 第2篇對話信息中的命名實體識別

第4章基於SLSTM的上下文詞狀態與句子狀態表示模型25

4.1概述25

4.2基於GloVe的詞嵌入25

4.3基於雙向LSTM的字符級向量表示26

4.3.1LSTM神經網絡26

4.3.2雙向LSTM神經網絡29

4.3.3字符級向量表示模型29

4.4基於Attention機制的詞向量與字符向量連接30

4.5預訓練的額外詞表示31

4.5.1雙向語言模型31

4.5.2ELMo32

4.6上下文詞狀態表示33

4.7基於SLSTM構建面向命名實體識別的新的句子狀態表示33

4.8基於改進SLSTM構建面向命名實體識別的新的上下文詞狀態35

4.9標簽預測36

4.10實驗與分析37

4.10.1數據集37

4.10.2超參數38

4.10.3評估指標39

4.10.4實驗分析39

4.11本章小結43

第5章基於句子語義與SelfAttention機制的中文和英文NER模型44

5.1概述44

5.2模型的總體結構44

5.3詞嵌入層45

5.3.1英文詞嵌入層45

5.3.2中文詞嵌入層46

5.4SelfAttention機制47

5.4.1Attention機制48

5.4.2MultiHead Attention49

5.4.3SelfAttention50

5.5句子表示模型51

5.5.1基於雙向LSTM的句子表示模型51

5.5.2基於多通道CNN的句子表示模型51

5.6實驗與分析52

5.6.1數據集52

5.6.2超參數53

5.6.3模型探索53

5.6.4模型的橫向對比54

5.6.5模型的縱向對比56

5.7本章小結57

第6章融合了拼音嵌入與五筆嵌入的中文NER模型58

6.1概述58

6.2字符嵌入58

6.3拼音嵌入58

6.4五筆嵌入60

6.5融合多種嵌入的模型結構61

6.6實驗與分析62

6.6.1數據集62

6.6.2超參數63

6.6.3模型的橫向對比63

6.6.4消融實驗64

6.7本章小結65

本篇小結65

第3篇垂直領域的實體關系分析

第7章基於遠程監督方法的關系抽取69

7.1概述69

7.2深度捲積神經網絡70

7.2.1文本向量化表示70

7.2.2殘差神經網絡70

7.2.3補償機制72

7.2.4註意力機制73

7.3對抗訓練74

7.4實驗與分析74

7.4.1數據集和評估指標75

7.4.2實驗設置75

7.4.3補償機制的有效性76

7.4.4對抗訓練的有效性78

7.4.5與先進基線方法對比78

7.5不足和展望81

7.6本章小結81

第8章基於小樣本學習的關系抽取82

8.1概述82

8.2異構圖神經網絡83

8.2.1任務定義83

8.2.2節點的向量化表示83

8.2.3異構圖神經網絡中的節點84

8.2.4異構圖神經網絡中的邊85

8.2.5異構圖神經網絡中的狀態表示86

8.3異構圖神經網絡中的對抗訓練87

8.4實驗與分析87

8.4.1數據集和評估指標88

8.4.2實驗設置88

8.4.3異構圖神經網絡的有效性89

8.4.4異構圖神經網絡對噪聲數據的魯棒性90

8.4.5節點可視化表示91

8.4.6案例分析92

8.5不足與展望93

8.6本章小結94

第9章文檔級別的關系抽取方法95

9.1概述95

9.2文檔的向量化表示95

9.3“註意力”機制在文檔級別關系抽取中的應用98

9.4實驗與分析100

9.4.1數據集和評估指標100

9.4.2實驗設置101

9.4.3“註意力”機制的有效性102

9.5不足與展望103

9.6本章小結103

第10章基於表示迭代融合的實體和關系聯合抽取104

10.1概述104

10.2任務定義105

10.3表示迭代融合方法106

10.3.1節點向量化106

10.3.2異構圖神經網絡層107

10.3.3實體關系抽取108

10.4實驗與分析110

10.4.1數據集和評估指標110

10.4.2訓練細節和參數設置111

10.4.3模型對比實驗111

10.4.4不同類型的句子上的詳細的結果113

10.4.5分析和討論114

10.5本章小結118

本篇小結119

第4篇開放領域的實體關系分析

第11章基於動態閾值的開放關系檢測123

11.1概述123

11.2任務定義125

11.3基於生成式負樣本的動態閾值方法125

11.3.1關系表示125

11.3.2動態閾值126

11.3.3生成式負樣本127

11.4實驗與分析128

11.4.1數據集128

11.4.2評價指標128

11.4.3基線模型129

11.4.4參數設置和訓練細節129

11.4.5結果與討論129

11.5本章小結135

第12章基於自加權損失的開放關系抽取136

12.1概述136

12.2任務定義137

12.3基於自加權損失的半監督學習框架137

12.3.1關系表示抽取模塊138

12.3.2基於深度度量學習的知識遷移138

12.3.3基於聚類的開放關系發現139

12.4實驗與分析140

12.4.1數據集140

12.4.2評價指標140

12.4.3基線模型140

12.4.4參數設置和訓練細節141

12.4.5結果和討論141

12.5本章小結146

第13章基於一致性表示學習的持續關系抽取147

13.1概述147

13.2任務定義148

13.3一致性表示學習方法148

13.3.1編碼器149

13.3.2新任務的初始訓練150

13.3.3為記憶選擇代表性樣本150

13.3.4一致性表示學習150

13.3.5基於類均值的預測152

13.4實驗與分析152

13.4.1數據集153

13.4.2評價指標153

13.4.3基線模型153

13.4.4訓練細節和參數設置153

13.4.5結果和討論154

13.5本章小結158

第14章開放域文本關系抽取的可擴展可視化平臺159

14.1概述159

14.2文本開放關系抽取系統160

14.2.1數據集管理161

14.2.2模型管理161

14.2.3可視化模塊162

14.2.4開放關系抽取流水線162

14.3本章小結164

本篇小結164

參考文獻165

附錄A英文縮寫對照表180

附錄B圖片索引183

附錄C表格索引185

結束語187