大模型導論
張成文
買這商品的人也買了...
-
$520$390 -
$420$378 -
$458深度學習與醫學圖像處理
-
$600$468 -
$653機器學習圖解
-
$581數據科學:基本概念、技術及應用
-
$250矩陣論及其應用
-
$359$341 -
$359$341 -
$662深度學習高手筆記 捲2:經典應用
-
$414$393 -
$594$564 -
$594$564 -
$534$507 -
$774$735 -
$419$398 -
$658大數據演算法
-
$594$564 -
$599$569 -
$714$678 -
$650$507 -
$505我在硅谷管芯片:芯片設計公司運營之道
-
$668集成學習實戰
-
$505基於深度學習的圖像處理與實踐
-
$630$498
相關主題
商品描述
本書主要介紹了大模型的發展與演變、相關技術、應用場景、未來發展趨勢和前景。本書首先回顧了大模型技術的起源和發展歷程,然後介紹了數據預處理、Transformer、預訓練與微調、模型推理和PyTorch框架等技術。此外,本書還通過具體的案例和實踐展示瞭如何應用大模型技術來解決實際問題。本書旨在幫助讀者全面瞭解大模型技術的發展與應用,並推動其在各個領域的應用和發展。
本書圖文並茂,理論翔實,案例豐富,適合從事大模型開發的科研人員以及廣大的開發者作為技術參考和培訓資料,亦可作為高校本科生和研究生的教材。
作者簡介
张成文,博士,北京邮电大学副教授、硕士生导师。中国人工智能学会高级会员,任中国电子商会大模型应用产业专委会秘书长、中国人工智能产业发展联盟产学研工作组副组长,中国医学装备协会人工智能和医用机器人工作委员会常委、中国教育发展战略学会人工智能与机器人专委会理事等。他在网络技术专业领域有着深入的研究,并且完成了国家科技重大专项、国家重点研发计划、国家自然科学基金等项目。专业方向包括人工智能、大数据个性化推荐、云计算、计算机视觉等。他在国内外一流期刊上发表了多篇高水平论文,并出版了多本教材和专著。
目錄大綱
第 1章 大模型概述 1
1.1 大模型介紹 2
1.1.1 生成原理 4
1.1.2 關鍵技術 5
1.1.3 關鍵術語 10
1.2 大模型分類 11
1.2.1 按模型結構劃分 12
1.2.2 按模態劃分 12
1.2.3 按微調方式劃分 13
1.2.4 帶插件系統的大模型 13
1.3 大模型的開發流程 13
1.3.1 確定項目目標 14
1.3.2 數據準備 15
1.3.3 模型設計 16
1.3.4 模型訓練 16
1.3.5 模型部署 17
1.3.6 模型應用 17
1.4 應用場景 18
1.5 未來發展方向 20
1.5.1 AI智能體 20
1.5.2 具身智能 21
1.6 小結 22
1.7 課後習題 22
第 2章 數據預處理 23
2.1 文本數據預處理 23
2.1.1 構造方法 24
2.1.2 構造流程 26
2.1.3 處理手段 28
2.1.4 常用類庫 37
2.2 圖像數據預處理 47
2.2.1 圖像去噪 48
2.2.2 圖像重採樣 52
2.2.3 圖像增強 53
2.3 圖文對數據預處理 56
2.4 Datasets庫 58
2.4.1 安裝與配置 58
2.4.2 使用方法 58
2.5 小結 63
2.6 課後習題 64
第3章 Transformer 65
3.1 註意力機制 65
3.1.1 自註意力機制 66
3.1.2 多頭自註意力機制 68
3.2 Transformer簡介 70
3.2.1 位置編碼 70
3.2.2 整體結構 71
3.2.3 稀疏Transformer 72
3.3 Visual Transformer簡介 73
3.3.1 模型結構 74
3.3.2 與Transformer對比 75
3.4 Q-Former 75
3.5 transformers庫 77
3.5.1 基本組成 77
3.5.2 使用方法 78
3.5.3 微調實踐 83
3.6 小結 85
3.7 課後習題 86
第4章 預訓練 87
4.1 預訓練介紹 87
4.1.1 發展歷程 88
4.1.2 模型類型 88
4.1.3 掩碼預訓練 89
4.2 預訓練任務 89
4.3 應用於下游任務的方法 91
4.3.1 遷移學習 91
4.3.2 微調 91
4.4 預訓練模型的應用 92
4.5 小結 93
4.6 課後習題 93
第5章 訓練優化 94
5.1 模型訓練挑戰 94
5.2 訓練優化技術 95
5.2.1 數據並行 95
5.2.2 模型並行 97
5.2.3 流水線並行 98
5.2.4 混合精度訓練 99
5.3 訓練加速工具 100
5.3.1 DeepSpeed 100
5.3.2 Megatron-LM 103
5.3.3 Colossal-AI 104
5.3.4 BMTrain 104
5.4 小結 107
5.5 課後習題 108
第6章 模型微調 109
6.1 監督微調 110
6.2 PEFT技術 110
6.2.1 Adapter tuning 111
6.2.2 Prefix tuning 111
6.2.3 Prompt tuning 112
6.2.4 P-tuning v1 113
6.2.5 P-tuning v2 114
6.2.6 LoRA 114
6.2.7 QLoRA 115
6.3 PEFT庫 116
6.3.1 關鍵步驟 117
6.3.2 微調方法 118
6.4 小結 124
6.5 課後習題 124
第7章 模型推理 125
7.1 模型壓縮和加速技術 125
7.1.1 模型量化 126
7.1.2 知識蒸餾 127
7.1.3 模型剪枝 130
7.1.4 稀疏激活 132
7.2 推理服務提升技術 133
7.2.1 KV Cache 134
7.2.2 PagedAttention 134
7.3 小結 136
7.4 課後習題 136
第8章 PyTorch框架 137
8.1 安裝與配置 137
8.2 基礎組件 138
8.2.1 張量 138
8.2.2 CUDA張量 142
8.2.3 Autograd 144
8.2.4 DataLoader 146
8.3 構建線性回歸模型 148
8.4 構建Transformer模型 151
8.4.1 數據準備與參數設置 151
8.4.2 位置編碼 153
8.4.3 掩碼操作 154
8.4.4 註意力計算 154
8.4.5 前饋神經網絡 155
8.4.6 編碼器與解碼器 155
8.4.7 構建Transformer 157
8.4.8 模型訓練 157
8.4.9 模型測試 158
8.5 小結 158
8.6 課後習題 159
第9章 向量數據庫 160
9.1 Milvus 160
9.1.1 安裝與配置 161
9.1.2 Milvus 1.0的基本操作 162
9.1.3 Milvus 2.0的基本操作 163
9.2 Pinecone 166
9.2.1 註冊與配置 166
9.2.2 基本操作 166
9.3 Chroma 168
9.3.1 安裝與配置 168
9.3.2 基本操作 168
9.4 小結 170
9.5 課後習題 170
第 10章 前端可視化工具 171
10.1 Gradio 171
10.1.1 Gradio安裝 172
10.1.2 常用操作 172
10.1.3 Interface使用詳解 175
10.1.4 Blocks使用詳解 176
10.2 Streamlit 178
10.2.1 安裝與配置 178
10.2.2 數據展示API 180
10.2.3 控件API 182
10.2.4 頁面佈局API 184
10.2.5 狀態存儲 185
10.3 小結 185
10.4 課後習題 186
第 11章 LangChain 187
11.1 LangChain組件 187
11.1.1 Models 188
11.1.2 Prompts 188
11.1.3 Indexes 190
11.1.4 Memory 190
11.1.5 Chains 194
11.1.6 Agents 196
11.2 基礎操作 199
11.2.1 Prompts的用法 200
11.2.2 Chains的用法 201
11.2.3 Agents的用法 202
11.2.4 Memory的用法 204
11.3 進階實戰 205
11.3.1 對話式檢索問答 205
11.3.2 長短文本總結 207
11.3.3 結合向量數據庫實現問答 209
11.4 基於私域數據的問答系統 211
11.4.1 環境準備 212
11.4.2 模型測試 213
11.4.3 構建提示詞模板 213
11.4.4 生成詞向量 214
11.4.5 創建向量數據庫 216
11.4.6 構建問答系統 217
11.5 小結 219
11.6 課後習題 219
第 12章 常用開源模型的部署與微調 220
12.1 ChatGLM3模型部署與微調 220
12.1.1 環境準備 220
12.1.2 加載模型 222
12.1.3 數據準備 224
12.1.4 定義模型 228
12.1.5 模型訓練 230
12.1.6 保存模型 232
12.1.7 模型評估 232
12.2 Baichuan2模型部署與微調 233
12.2.1 環境準備 233
12.2.2 加載模型 234
12.2.3 數據準備 238
12.2.4 定義模型 241
12.2.5 模型訓練 242
12.2.6 保存模型 244
12.2.7 模型評估 245
12.3 LLaMA2模型部署與微調 247
12.3.1 模型使用申請 248
12.3.2 環境準備 248
12.3.3 加載模型 249
12.3.4 數據準備 250
12.3.5 模型訓練 251
12.3.6 保存模型 254
12.3.7 模型評估 255
12.4 小結 256
12.5 課後習題 256
參考文獻 257