相關主題
商品描述
本書是一本系統介紹大語言模型原理、訓練及應用的書，共7章，主要內容包括：
認識大語言模型、大語言模型訓練、GPU池化－建構大語言模型算力基礎、
GPT的最佳化與編排、GPT的產業應用與開發、Copilot的應用與開發、語言模型小型化及在邊緣端的部署。
本書詳盡闡述了大語言模式的起源、定義及其與傳統深度學習方法間的關鍵差異，
深入探討了主流訓練框架如何為大語言模型提供動力，並介紹了優化策略以及高效建立算力基礎設施所需考慮的因素。
內容涵蓋從基礎概念介紹到複雜系統編排，再到具體產業應用與開發等多個層面。
目錄大綱
推薦序
前言
第1章 認識大語言模型
1.1 大語言模型概述
1.1.1 AI技術的發展
1.1.2 生成式AI、NLP、GPT的關係
1.1.3 大語言模型的發展
1.2 大語言模型的訓練
1.2.1 預訓練
1.2.2 微調
1.2.3 人類回饋強化學習
1.3 大語言模型的核心應用場景
1.3.1 內容創作
1.3.2 摘要生成
1.3.3 語意檢索
1.3.4 代碼生成
1.4 大語言模型的多模態場景
1.4.1 文生圖
1.4.2 圖片與影片理解
1.4.3 語音轉文字
1.4.4 大語言模型與數位人/虛擬人的集成
1.4.5 影片生成
1.5 大語言模型的現況與未來
1.6 本章小結
第2章 大語言模型訓練
2.1 Transformer網路架構
2.1.1 傳統Transformer架構
2.1.2 Casual-decoder架構
2.1.3 Transformer Embedding和位置編碼
2.1.4 Attention層和Attention機制
2.1.5 FFN/MLP網絡
2.2 模型參數量與計算量評估
2.2.1 算力資源計算方法
2.2.2 顯存資源計算方法
2.3 分散式訓練介紹
2.3.1 通信原語
2.3.2 數據並行
2.3.3 模型並行
2.3.4 DeepSpeed Zero優化
2.4 如何訓練大語言模型
2.4.1 預訓練
2.4.2 微調
2.4.3 RLHF/RLAIF
2.5 Casual-decoder 大語言模型訓練案例
2.5.1 預訓練
2.5.2 DPO
2.6 本章小結
第3章 GPU池化－建構大語言模型算力基礎
3.1 GPU池化建置目標
3.2 GPU與網路卡的選擇
3.2.1 GPU的選擇
3.2.2 RDMA網絡
3.3 基礎架構環境的驗證
3.3.1 Perftest測試網卡
3.3.2 NCCL測試性能
3.4 分佈式訓練與推理
3.4.1 訓練環境選擇
3.4.2 Azure GPU VM的創建
3.4.3 訓練框架的選擇
3.4.4 在Azure GPU VM中安裝驅動
3.4.5 使用NeMo訓練文字分類模型
3.4.6 使用DeepSpeed-Chat訓練OPT
3.4.7 使用DeepSpeed-Training訓練Stable Diffusion
3.4.8 深度學習推理環境搭建
3.5 本章小結
第4章 GPT的最佳化與編排
4.1 GPT的優化
4.1.1 提示工程
4.1.2 GPT微調
4.1.3 基於Azure OpenAI實現RAG
4.1.4 實作開源RAG
4.1.5 基於Assistants API實作AI助手
4.1.6 透過流程工程自動產生程式碼
4.2 GPT的調度與編排
4.2.1 大語言模型主流編排工具
4.2.2 基於AutoGen調度開源模型實作AI助手
4.3 本章小結
第5章 GPT應用開發實踐
5.1 GPT的典型應用場景
5.2 基於RAG建構知識庫
5.2.1 RAG的主要優勢
5.2.2 RAG的主要工作方式
5.2.3 實現RAG的常用框架
5.2.4 RAG開發範例
5.3 基於ChatGPT優化電商商品詳情頁
5.3.1 電商商品詳情頁優化概述
5.3.2 亞馬遜電商商品詳情頁概述
5.3.3 數據的準備
5.3.4 標題的最佳化
5.3.5 商品要點的最佳化
5.3.6 結果驗證
5.4 基於開源框架搭建智能體應用
5.4.1 智能體的概念
5.4.2 AutoAgents框架
5.4.3 MetaGPT 框架
5.4.4 AutoGen 框架
5.4.5 基於AutoGen 實現智能體應用
5.5 本章小結
第6章 Copilot應用開發實踐
6.1 Copilot概述
6.2 Copilot的應用
6.2.1 網路協助工具
6.2.2 生產力協助工具
6.2.3 創意協助工具
6.2.4 日常協助工具
6.2.5 低程式碼/無程式碼開發協助工具
6.3 開發一個Copilot
6.3.1 Copilot的架構
6.3.2 Copilot開發範例
6.4 GitHub Copilot輔助編程
6.4.1 GitHub Copilot的功能
6.4.2 GitHub Copilot的設定與驗證
6.5 垂直領域的Copilot
6.5.1 索菲亞專案介紹
6.5.2 索菲亞專案效果展示
6.6 本章小結
第7章 語言模型小型化及在邊緣端的部署
7.1 語言模型小型化的關鍵因素
7.1.1 基礎模型的選取
7.1.2 模型量化的方法
7.1.3 BitsandBytes和GPTQ量化對比
7.1.4 GPTQ 和AWQ量化對比
7.1.5 模型的微調
7.1.6 推理模型的選擇
7.1.7 使用TGI運行GPTQ量化後的模型
7.1.8 使用vLLM進行量化推理最佳化
7.1.9 使用ExLlamaV2對LLaMA-2進行量化推理優化
7.1.10 使用llama.cpp進行量化推理優化
7.2 小語言模型Phi
7.2.1 Phi-2的執行模式與記憶體消耗
7.2.2 Phi-2的微調
7.2.3 Phi-3的量化與推理驗證
7.3 Mistral AI模型
7.3.1 Mixtral 8x7B的性能數據
7.3.2 Mixtral 8x7B的架構
7.3.3 Mixtral 8x7B的Q-LoRA微調
7.3.4 基於Mistral 7B實現聊天機器人
7.4 本章小結
