自然語言處理技術與應用

本書基於Python編程語言，以實戰為導向，主要介紹中文自然語言處理的各種理論、方法及應用案例，幫助讀者快速熟悉理論知識，理解相關技術原理，為讀者選擇自然語言處理相關的研究方向或從業領域提供參考。全書共分為三個部分：第一部分（第1～3章）是“基礎篇”，側重介紹自然語言處理的基礎知識，並在相應的知識板塊中設置實驗案例；第二部分（第4～12章）是“技術篇”，主要講解自然語言處理核心技術的原理及實現方法，以及文本分類、特徵提取、RNN等技術在自然語言處理中的應用；第三部分（第13章）是“應用篇”，主要介紹自然語言處理比較典型的應用場景。

本書適合作為人工智能相關課程的教材，也可作為人工智能的普及讀物供廣大讀者自學或參考。

许桂秋 《大数据导论》《Python编程基础与应用》《NoSQL数据库原理与应用》《数据挖掘与机器学习》等9本系列教材，浙江科技出版社，2019年。

第 1章 自然語言處理初探 1

1.1 什麽是自然語言處理 2

1.1.1 自然語言處理的概念 2

1.1.2 自然語言處理的研究任務 3

1.2 自然語言處理的發展歷程 5

1.3 自然語言處理相關知識的構成 7

1.3.1 基礎術語 7

1.3.2 知識結構 8

1.4 探討自然語言處理的層面 9

1.5 自然語言處理與人工智能 10

1.5.1 智慧醫療 11

1.5.2 智慧司法. 11

1.5.3 智慧金融 11

1.6 本章小結 12

第 2章 使用Python進行自然語言基礎處理 13

2.1 正則表達式在自然語言處理中的基本應用 14

2.1.1 匹配字符串 14

2.1.2 使用轉義符 17

2.1.3 抽取文本中的數字 18

2.2 NumPy使用詳解 13.2 19

2.2.1 創建數組 19

2.2.2 獲取NumPy中數組的維度 20

2.2.3 獲取本地數據 21

2.2.4 正確讀取數據 22

2.2.5 數組索引 22

2.2.6 數組切片 23

2.2.7 數組比較 23

2.2.8 替代值 24

2.2.9 數據類型轉換 25

2.2.10 NumPy的統計計算方法 25

2.3 本章小結 26

第3章 使用NLTK獲取和構建語料庫 27

3.1 語料庫基礎 28

3.2 NLTK 29

3.2.1 NLTK簡介 29

3.2.2 安裝NLTK 30

3.2.3 使用NLTK 31

3.2.4 在Python NLTK下使用Stanford NLP 36

3.3 獲取語料庫 40

3.3.1 通過語料庫網站獲取語料庫 40

3.3.2 通過編寫程序獲取語料庫 41

3.3.3 通過NLTK獲取語料庫 42

3.4 綜合案例：走進《紅樓夢》 44

3.4.1 數據採集和預處理 44

3.4.2 構建本地語料庫 45

3.4.3 語料操作 45

3.5 本章小結 48

第4章 jieba中文分詞 49

4.1 中文分詞簡介 50

4.2 規則分詞 50

4.2.1 正向最大匹配法 51

4.2.2 逆向最大匹配法 52

4.2.3 雙向最大匹配法 54

4.3 統計分詞 57

4.3.1 統計語言模型 57

4.3.2 HMM 58

4.3.3 其他統計分詞算法 65

4.4 混合分詞 65

4.5 Jieba高頻詞提取 66

4.5.1 jieba的3種分詞模式 66

4.5.2 實戰之高頻詞提取 66

4.6 本章小結 69

第5章 jieba詞性標註 71

5.1 詞性標註簡介 72

5.2 詞性標註規範 72

5.3 jieba分詞中的詞性標註 74

5.4 本章小結 75

第6章 命名實體識別之日期識別和地名識別 77

6.1 命名實體識別簡介 78

6.2 基於CRF的命名實體識別 79

6.3 命名實體識別之日期識別 82

6.4 命名實體識別之地名識別 86

6.4.1 安裝CRF++ 86

6.4.2 確定標簽體系 87

6.4.3 語料數據處理 88

6.4.4 特徵模板設計 90

6.4.5 模型訓練和測試 91

6.4.6 模型使用 93

6.5 本章小結 94

第7章 提取文本關鍵詞 95

7.1 關鍵詞提取算法 96

7.2 TF-IDF算法 96

7.3 TextRank算法 97

7.4 LSA/LSI/LDA算法 99

7.4.1 LSA/LSI算法 99

7.4.2 LDA算法 100

7.5 提取文本關鍵詞 101

7.6 本章小結 108

第8章 詞向量算法 109

8.1 word2vec詞向量算法 110

8.1.1 神經網絡語言模型 110

8.1.2 C&W模型 112

8.1.3 CBOW模型和Skip-gram模型 113

8.2 doc2vec/str2vec文本向量化算法 114

8.3 將網頁文本向量化 116

8.3.1 詞向量的訓練 116

8.3.2 段落向量的訓練 119

8.3.3 利用word2vec詞向量算法和doc2vec文本向量化算法計算網頁相似度 120

8.4 本章小結 124

第9章 句法分析 125

9.1 句法分析概述 126

9.1.1 句法分析的基本概念 126

9.1.2 句法分析的基本方法 126

9.2 句法分析的數據集與評測方法 127

9.2.1 句法分析的數據集 127

9.2.2 句法分析的評測方法 129

9.3 句法分析的常用方法 130

9.3.1 基於PCFG的句法分析 130

9.3.2 基於最大間隔馬爾可夫網絡的句法分析 131

9.3.3 基於CRF的句法分析 132

9.3.4 基於移進-歸約的句法分析 132

9.4 使用Standford Parser的PCFG進行句法分析 134

9.4.1 Stanford Parser 134

9.4.2 基於PCFG的中文句法分析實戰 135

9.5 本章小結 136

第 10章 情感分析 137

10.1 情感分析的應用 138

10.2 情感分析的基本方法 139

10.2.1 詞法分析 139

10.2.2 機器學習 140

10.2.3 混合分析 140

10.3 電影評論情感分析 141

10.3.1 模型選擇 141

10.3.2 載入數據 144

10.3.3 輔助函數 146

10.3.4 模型設置 147

10.3.5 調參配置 148

10.3.6 訓練過程 149

10.4 本章小結 149

第 11章 機器學習在自然語言處理的應用 151

11.1 幾種常用的機器學習方法 152

11.1.1 文本分類 152

11.1.2 特徵提取 152

11.1.3 標註 153

11.1.4 搜索與排序 154

11.1.5 推薦系統 155

11.1.6 序列學習 156

11.2 無監督學習的文本聚類 156

11.3 文本分類實戰-中文垃圾郵件分類 158

11.4 文本聚類實戰——用K均值聚類對豆瓣讀書數據聚類 164

11.5 本章小結 168

第 12章 深度學習在自然語言中的應用 169

12.1 RNN簡介 170

12.1.1 簡單RNN 170

12.1.2 LSTM 172

12.1.3 Attention機制 174

12.2 Seq2Seq問答機器人 175

12.2.1 Seq2Seq模型 175

12.2.2 實戰Seq2Seq聊天機器人 176

12.3 本章小結 184

第 13章 自然語言處理典型的應用場景 185

13.1 機器翻譯與寫作 186

13.1.1 機器翻譯 186

13.1.2 機器寫作 195

13.2 智能問答與對話 204

13.2.1 智能問答 204

13.2.2 智能對話系統 204

13.2.3 問答系統的主要組成 206

13.2.4 不同類型的問答系統 207

13.2.5 前景與挑戰 218

13.3 個性化推薦 218

13.3.1 推薦系統的概念 218

13.3.2 個性化推薦的基本問題 219

13.3.3 推薦的可解釋性 222

13.3.4 前景與挑戰 223

13.4 本章小結 226