自然語言處理 — 原理、方法與應用

本書系統闡述自然語言處理基礎知識，以及自然語言處理高級模型應用等高級知識。 全書共11章：第1~5章為自然語言處理的基礎知識，第6~11章則將自然語言處理知識應用於實戰。書中主要內容包括預訓練模型、文本分類、機器閱讀理解、命名實體識別、文本生成、模型蒸餾與剪枝及損失函數等知識。 書中包含大量應用示例，不僅可以學會理論知識還可以靈活應用。書中示例基於Linux與PyTorch環境開發，讀者在學習自然語言處理知識的同時還可學會PyTorch框架技術，內容完整、步驟清晰，提供了工程化的解決方案。 本書可作為有一定深度學習基礎的讀者的入門書，也可作為從事自然語言處理算法工作的技術人員及培訓機構的參考書。

 

目錄

 

 

 

 

 

 

本書源代碼

 

目錄

第1章導論（13min）

 

1.1基於深度學習的自然語言處理

 

1.2本書章節脈絡

 

1.3自然語言處理算法流程

 

1.4小結

 

第2章Python開發環境配置（35min）

 

2.1Linux服務器

 

2.1.1MobaXterm

 

2.1.2使用MobaXterm連接遠程服務器

 

2.1.3在服務器上安裝Python開發環境

 

2.1.4使用Anaconda國內源

 

2.1.5pip設定永久阿裡雲源

 

2.2Python虛擬環境

 

2.3PyCharm遠程連接服務器

 

2.4screen任務管理

 

2.5Docker技術

 

2.6小結

 

第3章自然語言處理的發展進程

 

3.1人工規則與自然語言處理

 

3.2機器學習與自熱語言處理

 

3.2.1詞袋模型

 

3.2.2ngram

 

3.2.3頻率與逆文檔頻率

 

3.3深度學習與自然語言處理

 

3.4小結

 

第4章無監督學習的原理與應用（30min）

 

4.1淺層無監督預訓練模型

 

4.2深層無監督預訓練模型

 

4.2.1BERT

 

4.2.2SelfAttention Layer原理

 

4.2.3SelfAttention Layer的內部運算邏輯

 

4.2.4MultiHead SelfAttention

 

4.2.5Layer Normalization

 

4.2.6BERT預訓練

 

4.2.7BERT的微調過程

 

4.3其他預訓練模型

 

4.3.1RoBERTa

 

4.3.2ERNIE

 

4.3.3BERT_WWM

 

4.3.4ALBERT

 

4.3.5Electra

 

4.3.6NEZHA

 

4.3.7NLP預訓練模型對比

 

4.4自然語言處理四大下游任務

 

4.4.1句子對分類任務

 

4.4.2單句子分類任務

 

4.4.3問答任務

 

4.4.4單句子標註任務

 

4.5小結

 

第5章無監督學習進階

 

5.1生成式對抗網絡

 

5.2元學習

 

5.2.1MetricBased Method

 

5.2.2ModelBased Method

 

5.2.3PretrainBased Method

 

5.3小結

 

第6章預訓練

 

6.1賽題任務

 

6.2環境搭建

 

6.3代碼框架

 

6.4數據分析實踐

 

6.4.1數據預處理

 

6.4.2預訓練任務模型構建與數據生成

 

6.4.3模型訓練

 

6.5小結

 

第7章文本分類（45min）

 

7.1數據分析

 

7.2環境搭建

 

7.3代碼框架

 

7.4文本分類實踐

 

7.4.1數據預處理

 

7.4.2模型構建

 

7.4.3數據迭代器

 

7.4.4模型訓練

 

7.4.5模型預測

 

7.5小結

 

第8章機器閱讀理解（16min）

 

8.1機器閱讀理解的定義

 

8.1.1完形填空

 

8.1.2多項選擇

 

8.1.3片段抽取

 

8.1.4自由回答

 

8.1.5其他任務

 

8.2評測方法

 

8.3研究方法

 

8.3.1基於規則的方法

 

8.3.2基於神經網絡的方法

 

8.3.3基於深層語義的圖匹配方法

 

8.4經典結構

 

8.4.1BiDAF模型

 

8.4.2QANet模型

 

8.4.3基於BERT模型的機器閱讀理解

 

8.5多文檔機器閱讀理解實踐

 

8.5.1疫情政務問答助手

 

8.5.2信息檢索

 

8.5.3多任務學習

 

8.5.4實踐

 

8.6小結

 

第9章命名實體識別（15min）

 

9.1NER技術的發展現狀

 

9.2命名實體識別的定義

 

9.3命名實體識別模型

 

9.3.1預訓練模型

 

9.3.2下接結構

 

9.3.3條件隨機場

 

9.4命名實體識別實驗

 

9.4.1數據介紹

 

9.4.2評估指標

 

9.4.3數據預處理

 

9.4.4模型構建

 

9.4.5數據迭代器

 

9.4.6模型訓練

 

9.4.7模型預測

 

9.5小結

 

第10章文本生成（26min）

 

10.1文本生成的發展現狀

 

10.1.1文本生成模板

 

10.1.2變分自編碼器

 

10.1.3序列到序列技術

 

10.2基於預訓練模型的文本生成模型

 

10.3文本生成任務實踐

 

10.3.1數據介紹

 

10.3.2評估指標

 

10.3.3模型構建

 

10.3.4數據迭代器

 

10.3.5模型訓練

 

10.3.6模型預測

 

10.4小結

 

第11章損失函數與模型瘦身

 

11.1損失函數

 

11.2常用的損失函數

 

11.2.1回歸

 

11.2.2分類

 

11.3損失函數的進階

 

11.3.1樣本不均衡

 

11.3.2Focal Loss

 

11.3.3Dice Loss

 

11.3.4拒識

 

11.3.5帶噪學習

 

11.4模型瘦身

 

11.4.1知識蒸餾

 

11.4.2模型剪枝

 

11.5小結