GPT 就是這麼來的 - 最新自然語言處理技術詳解

50. NLP專用Python開發環境架設
50. 自然語言處理的發展歷程
50. 無監督學習的原理與應用及實作
50. Pretraing的完整實作
50. 文字分類、機器閱讀理解、命名實體辨識
50. ChatGPT的原理 - 文字生成
50. 損失函式與模型瘦身

 

大型語言模型已經成為現代AI的範式，不管是ChatGPT或是llama、Falcon等，這個新興學科是人工智慧時代最熱門的話題，沒有一個有志於AI的人可以忽略這個趨勢。而大型語言模型的基礎，當然就是自然語言處理（Natural Language Processing，簡稱NLP）。自然語言處理主要工作包括了語言理解、語言生成、機器翻譯、語音識別等。目前見的應用非常多，包括了自動化客服、垃圾郵件檢測、社交媒體情感分析、醫療記錄分析、金融預測和新聞摘要等。

總結來說，自然語言處理是一個動態且充滿潛力的領域，它正在不斷改變我們與計算機和數字訊息互動的方式。隨著技術的不斷發展，我們可以期待在更多領域看到 NLP 的創新應用，同時也需要持續關注與其發展相關的倫理和社會問題。本書最重要目的就是將你帶入這個行業，如果你是程式設計師，網頁設計師，又或者是App的開發者，如果不想被人工智慧搶掉工作，加入是最好的選擇。

王志立

自然語言處理工程師，曾在國際與國內的學術會議上發表學術論文多篇，先後在騰訊等多家知名企業從事大數據與人工智慧演算法工作，運作與分享人工智慧相關知識，曾獲多項人工智慧比賽國家級獎項。

 

雷鵬斌

華為AI演算法工程師，主要從事chatops、知識圖譜的研究與實踐工作，對自然語言處理各項任務有深入的研究。2019－2021年在國內知名競賽的文本分類、命名實體辨識、機器閱讀理解、智慧問答，以及文本生成任務中摘獲大量榮譽。曾參與多項課題研究，在AAAI、《中文資訊學報》等高影響力期刊上發表多篇論文。

 

吳宇凡

騰訊演算法應用研究員，長期從事業務安全與金融量化相關演算法研究與實務工作，已在國際頂尖期刊發表多篇論文，申請專利數項。

第1 章 導論

1.1 基於深度學習的自然語言處理

1.2 本書章節脈絡

1.3 自然語言處理演算法流程

1.4 小結

 

第2 章 Python 開發環境配置

2.1 Linux 伺服器

2.2 Python 虛擬環境

2.3 PyCharm 遠端連接伺服器

2.4 screen 任務管理

2.5 Docker 技術

2.6 小結

 

第3 章 自然語言處理的發展處理程序

3.1 人工規則與自然語言處理

3.2 機器學習與自熱語言處理

3.3 深度學習與自然語言處理

3.4 小結

 

第4 章 無監督學習的原理與應用

4.1 淺層無監督預訓練模型

4.2 深層無監督預訓練模型

4.3 其他預訓練模型

4.4 自然語言處理四大下游任務

4.5 小結

 

第5 章 無監督學習進階

5.1 生成式對抗網路

5.2 元學習

5.3 小結

 

第6 章 預訓練

6.1 賽題任務

6.2 環境架設

6.3 程式框架

6.4 資料分析實踐

6.5 小結

 

第7 章 文字分類

7.1 資料分析

7.2 環境架設

7.3 程式框架

7.4 文字分類實踐

7.5 小結

 

第8 章 機器閱讀理解

8.1 機器閱讀理解的定義

8.2 評測方法

8.3 研究方法

8.4 經典結構

8.5 多文件機器閱讀理解實踐

8.6 小結

 

第9 章 命名實體辨識

9.1 NER 技術的發展現狀

9.2 命名實體辨識的定義

9.3 命名實體辨識模型

9.4 命名實體辨識實驗

9.5 小結

 

第10 章 文字生成

10.1 文字生成的發展現狀

10.2 基於預訓練模型的文字生成模型

10.3 文字生成任務實踐

10.4 小結

 

第11 章 損失函式與模型瘦身

11.1 損失函式

11.2 常用的損失函式

11.3 損失函式的進階

11.4 模型瘦身

11.5 小結