自然語言處理與醫療文本的知識抽取

刘永彬，博士、副教授，中国计算机学会-自然语言处理专业委员会执行委员，中国中文信息学会-语言与知识计算专业委员会委员，中国中文信息学会-自然语言生成与智能写作专业委员会委员，中国人工智能学会-青年工作委员会委员，中国人工智能学会-教育工作委员会委员；主要研究信息抽取、知识图谱构建，以及在医疗大数据、科学大数据和企业智能化信息服务等领域的应用；国际期刊Data Intelligence （MIT出版社）编委；多个CCF推荐国际会议PC（ACL，EMNLP，COLING，CIKM，NLPCC）；多个国际期刊审稿人；参与IEEE国际标准《知识图谱架构》和国家标准《信息技术 人工智能 知识图谱技术框架》的制定。

欧阳纯萍，博士，教授，中文信息学会-语言与知识计算专业委员会委员，湖南省普通高校青年骨干教师，湖南省大学计算机教学指导委员会委员。湖南省线下、线上优质本科课程、课程思政示范课程负责人，湖南省研究生精品思政课程负责人。曾获湖南省高等教育教学成果一等奖，湖南省教育教学改革发展优秀成果二等奖，湖南省计算机学会高等教育教学成果二等奖，中国电子学会电子信息科学技术三等奖。研究方向为网络表示学习和知识图谱及其在医药关系发现和疾病诊疗预测等领域的应用研究。参与IEEE国际标准《知识图谱架构》和国家标准《信息技术 人工智能 知识图谱技术框架》的制定。

目　錄　　

第 一部分　基礎知識

第 1章　自然語言處理技術　2

1.1　自然語言處理概述　2

1.2　數據標註任務　3

1.2.1　數據標註之中文分詞　3

1.2.2　數據標註之詞性標註　4

1.3　詞表示學習任務　5

1.3.1　詞表示方法的類型　5

1.3.2　詳解詞的分佈式表示　6

1.3.3　詞嵌入　7

1.4　實體識別任務　9

1.5　關系抽取任務　10

1.6　事件抽取任務　12

1.7　預訓練模型　14

1.8　小樣本學習　16

1.9　領域自適應　18

1.10　多模態任務　20

1.11　對話任務　23

1.11.1　生成式對話　23

1.11.2　任務導向型對話　24

1.12　本書結構　26

　參考文獻　26

第 2章　從統計機器學習模型到神經網絡模型　28

2.1　統計機器學習方法的三要素　28

2.2　隱馬爾可夫模型　28

2.3　支持向量機　30

2.4　條件隨機場 　34

2.5　前饋神經網絡　37

2.6　反饋神經網絡　42

2.6.1　循環神經網絡　42

2.6.2　遞歸神經網絡　43

2.6.3　Hopfield神經網絡　44

2.6.4　長短期記憶網絡　45

2.7　註意力模型　47

2.7.1　註意力　47

2.7.2　Encoder-Decoder框架　47

2.7.3　軟註意力　49

2.7.4　硬註意力　50

2.7.5　自註意力　51

2.8　Transformer模型　53

2.9　圖神經網絡模型　55

　參考文獻　57

第3章　詞表示學習　59

3.1　分佈假設與分佈式表示　59

3.2　詞向量模型CBOW　60

3.3　詞向量模型Skip-Gram　61

　參考文獻　62

第二部分　知識抽取

第4章　實體識別　64

4.1　基於捲積神經網絡的實體識別　64

4.2　基於循環神經網絡的實體識別　67

4.3　基於Transformer的實體識別模型　70

　參考文獻　72

第5章　關系抽取　73

5.1　基於註意力的關系抽取模型　73

5.2　基於集成學習的關系抽取模型　76

5.3　基於預訓練的關系抽取模型　78

5.4　基於Transformer的關系抽取模型　81

5.5　基於GCN的關系抽取模型　82

　參考文獻　84

第6章　領域自適應　86

6.1　DAN模型　86

6.2　DANN模型　87

6.3　DSN模型　90

　參考文獻　92

第7章　多模態任務　93

7.1　多模態數據　93

7.2　多模態融合技術　95

7.3　多模態融合技術面臨的挑戰　98

　參考文獻　99

第8章　小樣本學習　100

8.1　數據增強　100

8.2　遠程監督　102

8.3　元學習　103

　參考文獻　106

第9章　實體與關系聯合抽取　107

9.1　參數共享模式　108

9.2　新標註策略模式　110

9.3　關系重疊問題　111

　參考文獻　112

第三部分　醫療電子病歷研究與實踐

第 10章　電子病歷研究背景　114

10.1　電子病歷概述　114

10.2　電子病歷文本類型　115

10.3　電子病歷實體分類體系　115

10.4　電子病歷實體關系分類體系　116

10.5　電子病歷隱私實體分類體系　117

10.6　ICD編碼　118

10.7　電子病歷ICD自動編碼實踐 　119

10.8　電子病歷實體識別實踐　122

　參考文獻　131

第 11章　電子病歷的事件抽取　132

11.1　電子病歷中的事件　132

11.2　電子病歷事件觸發詞識別　133

11.3　電子病歷事件觸發詞抽取實踐　134

11.3.1　文本預處理　134

11.3.2　引入依存句法特徵的動態多池化模型　136

11.3.3　動態多池化捲積神經網絡　138

11.3.4　實驗結果分析　140

11.4　電子病歷事件元素抽取　141

11.4.1　電子病歷事件元素角色類別的定義　141

11.4.2　電子病歷事件元素抽取實踐　142

11.4.3　句子編碼　142

11.4.4　混合句法特徵的圖神經網絡　144

　參考文獻　146

第 12章　醫療對話摘要生成　147

12.1　基於情景記憶網絡的編碼標記模型　148

12.1.1　情景記憶網絡　149

12.1.2　基於情景記憶網絡的分層標記模型　150

12.1.3　實驗　151

12.2　醫療對話摘要的未來　155

　參考文獻　155

第四部分　前沿技術與實踐

第 13章　因果推斷技術　158

13.1　電子病歷中的因果關系　158

13.2　因果方法　158

13.2.1　因果推斷　158

13.2.2　將因果關系發現與不同研究方向結合　160

13.2.3　將因果關系發現應用於不同領域　161

13.2.4　典型的因果推斷技術　161

13.3　電子病歷中的因果推斷技術　165

　參考文獻　166

第 14章　小樣本學習實體識別實踐　167

14.1　問題定義　167

14.2　方法　169

14.2.1　原型網絡　169

14.2.2　字符感知　170

14.2.3　句子感知　171

14.2.4　聯合學習策略　172

14.3　實驗　172

14.3.1　數據集　172

14.3.2　超參數設置　173

14.3.3　基線模型　173

14.3.4　整體實驗結果　174

14.3.5　收斂速度驗證　174

14.3.6　消融研究　176

14.3.7　整體實驗結果　177

14.3.8　錯誤指標分析　179

　參考文獻　180

第 15章　小樣本實體關系抽取實踐　181

15.1　問題定義　182

15.2　方法　182

15.2.1　原型網絡　183

15.2.2　特徵級註意力　184

15.2.3　深度集成策略　185

15.2.4　微調策略　185

15.3　實驗　186

15.3.1　數據集　186

15.3.2　超參數設置　186

15.3.3　基線模型　187

15.3.4　整體實驗結果　187

15.3.5　交叉驗證　189

15.3.6　消融研究　190

參考文獻　192