新範式來臨 - 用 PyTorch 了解 LLM 開發微調 ChatGLM 全過程

★從0開始打造自己的LLM

★動手實作中英文都通的ChatGLM

★PyTorch 2完整實作NLP

★各種神經網路實作：CNN、RNN、GRU、Transformer、BERT、GPT

★預訓練模型、編碼器、解碼器、Seq2Seq2

★獎勵模型的RLHF、PPO、Rewarded Model

★LLM在專業領域的應用：金融、醫療

★使用PEFT、LORA等Huggingface函式庫進行LLM的Finetune

 

大型語言模型是深度學習自然語言處理皇冠上的一顆明珠，也是當前AI和NLP研究與產業中最重要的方向。全書使用PyTorch 2.0作為學習大型語言模型的基本框架，以中英文通曉的ChatGLM為範例，詳細講解大型語言模型的基本理論、演算法、程式實現、應用實戰以及微調技術，完整演示大型語言模型開發技術。

 

全書共18章，內容包括人工智慧與大型語言模型、PyTorch 2.0深度學習環境搭建、從零開始學習PyTorch 2.0、深度學習基礎演算法詳解、以PyTorch卷積層為基礎的的MNIST分類實戰、PyTorch資料處理與模型展示、ResNet實戰、有趣的詞嵌入、PyTorch循環神經網路的中文情感分類實戰、自然語言處理的編碼器、預訓練模型BERT、自然語言處理的解碼器、強化學習實戰、只具有解碼器的GPT-2模型、實戰訓練自己的ChatGPT、開源大型語言模型ChatGLM使用詳解、ChatGLM高級定制化應用實戰、對ChatGLM進行高級微調。

王曉華

大專電腦專業講師，研究方向為雲端運算、巨量資料與人工智慧。

著有：

《PyTorch2.0深度學習從零開始學》

《Python機器學習與可視化分析實戰》

《Google JAX深度學習從零開始學》

《Spark3.0巨量資料分析與挖掘：基於機器學習》

《TensorFlow深度學習應用實踐》

《OpenCV+TensorFlow深度學習與電腦視覺實戰》

《TensorFlow知識圖譜實戰》

《TensorFlow人臉識別實戰》

《TensorFlow語音識別實戰》

《TensorFlow+Keras自然語言處理實戰》

《TensorFlow2.0卷積神經網絡實戰》

《Keras實戰：基於TensorFlow2.2的深度學習實踐》

《Tensorflow 2.0深度學習從零開始學》

《深度學習的數學原理與實作》

第1章 新時代的曙光—人工智慧與大模型

1.1 人工智慧：思維與實踐的融合

1.2 大模型開啟人工智慧的新時代

1.3 本章小結

 

第2章 PyTorch 2.0深度學習環境架設

2.1 環境架設1：安裝Python

2.2 環境架設2：安裝PyTorch 2.0

2.3 生成式模型實戰：古詩詞的生成

2.4 影像降噪：一步步實戰第一個深度學習模型

2.5 本章小結

 

第3章 從零開始學習PyTorch 2.0

3.1 實戰MNIST手寫體辨識

3.2 自訂神經網路框架的基本設計

3.3 本章小結

 

第4章 一學就會的深度學習基礎演算法詳解

4.1 反向傳播神經網路的前身歷史

4.2 反向傳播神經網路兩個基礎演算法詳解

4.3 回饋神經網路反向傳播演算法介紹

4.4 本章小結

 

第5章 基於PyTorch卷積層的MNIST分類實戰

5.1 卷積運算的基本概念

5.2 實戰：基於卷積的MNIST手寫體分類

5.3 PyTorch的深度可分離膨脹卷積詳解

5.4 本章小結

 

第6章 視覺化的PyTorch資料處理與模型展示

6.1 用於自訂資料集的torch.utils.data工具箱使用詳解

6.2 實戰：基於tensorboardX的訓練視覺化展示

6.3 本章小結

 

第7章 ResNet實戰

7.1 ResNet基礎原理與程式設計基礎

7.2 ResNet實戰：CIFAR-10資料集分類

7.3 本章小結

 

第8章 有趣的詞嵌入

8.1 文字資料處理

8.2 更多的詞嵌入方法—FastText和預訓練詞向量

8.3 針對文字的卷積神經網路模型簡介—字元卷積

8.4 針對文字的卷積神經網路模型簡介—詞卷積

8.5 使用卷積對文字分類的補充內容

8.6 本章小結

 

第9章 基於迴圈神經網路的中文情感分類實戰

9.1 實戰：迴圈神經網路與情感分類

9.2 迴圈神經網路理論講解

9.3 本章小結

 

第10章 從零開始學習自然語言處理的編碼器

10.1 編碼器的核心—注意力模型

10.2 編碼器的實現

10.3 實戰編碼器：拼音中文字轉化模型

10.4 本章小結

 

第11章 站在巨人肩膀上的預訓練模型BERT

11.1 預訓練模型BERT

11.2 實戰BERT：中文文字分類

11.3 更多的預訓練模型

11.4 本章小結

 

第12章 從1開始自然語言處理的解碼器

12.1 解碼器的核心—注意力模型

12.2 解碼器實戰—拼音中文字翻譯模型

12.3 本章小結

第13章 基於PyTorch 2.0的強化學習實戰

13.1 基於強化學習的火箭回收實戰

13.2 強化學習的基本演算法—PPO演算法

13.3 本章小結

 

第14章 ChatGPT前身—只具有解碼器的GPT-2模型

14.1 GPT-2模型簡介

14.2 Hugging Face GPT-2模型原始程式模型詳解

14.3 Hugging Face GPT-2模型的使用與自訂微調

14.4 自訂模型的輸出

14.5 本章小結

 

第15章 實戰訓練自己的ChatGPT

15.1 什麼是ChatGPT

15.2 RLHF模型簡介

15.3 基於RLHF實戰的ChatGPT正向評論的生成

15.4 本章小結

 

第16章 開放原始碼大模型ChatGLM使用詳解

16.1 為什麼要使用大模型

16.2 ChatGLM使用詳解

16.3 本章小結

 

第17章 開放原始碼大模型ChatGLM 高級訂製化應用實戰

17.1 醫療問答GLMQABot架設實戰—基於ChatGLM架設專業客服問答機器人

17.2 金融資訊取出實戰—基於知識鏈的ChatGLM當地語系化知識庫檢索與智慧答案生成

17.3 基於ChatGLM的一些補充內容

17.4 本章小結

 

第18章 對訓練成本上億美金的ChatGLM進行高級微調

18.1 ChatGLM模型的當地語系化處理

18.2 高級微調方法1—基於加速庫Accelerator的全量資料微調

18.3 高級微調方法2—基於LoRA的模型微調

18.4 高級微調方法3—基於Huggingface的PEFT模型微調

18.5 本章小結