快速部署大模型:LLM策略與實踐(基於ChatGPT等大語言模型) Quick Start Guide to Large Language Models: Strategies and Best Practices for Using Chatgpt and Other Llms

[美]斯楠·奧茲德米爾(Sinan Ozdemir)著 姚普 白濤 卜崇宇 王蜀洪 譯

  • 快速部署大模型:LLM策略與實踐(基於ChatGPT等大語言模型)-preview-1
  • 快速部署大模型:LLM策略與實踐(基於ChatGPT等大語言模型)-preview-2
  • 快速部署大模型:LLM策略與實踐(基於ChatGPT等大語言模型)-preview-3
快速部署大模型:LLM策略與實踐(基於ChatGPT等大語言模型)-preview-1

相關主題

商品描述

"本書主要圍繞如何充分挖掘、利用大語言模型的潛力,囊括了大語言模型的概念,如何通過 提示詞更好地利用大語言模型,大語言模型在信息檢索、推薦系統、視覺問答等任務中的應用, 以及大語言模型的微調、多模態訓練、模型生產應用等高階使用技巧。本書在講解過程中搭配 大量的應用實例以及相關代碼,從大語言模型的概念、挖掘大語言模型潛力的方式到大語言模 型的高級使用方式,讀者能夠將概念學習和實踐應用同步進行,是相關領域工程技術人員、學術 人員以及對大語言模型感興趣的廣大讀者的不二之選。 本書的內容編排適合以下群體: (1) 有一定的編程能力,但對大語言模型沒有充分的認知,想通過本書迅速掌握大語言模型 的概念,並在相關業務領域(信息檢索、對話系統、推薦系統等)實現快速應用。 (2) 大語言模型某個研究領域的資深從業人員,但是想更全面地瞭解大語言模型在各個領 域的研究應用現狀,實現對大語言模型從學術研究到生產應用的全方位系統認知。"

目錄大綱

 

 

第1部分大模型介紹

 

第1章大模型概述

 

1.1什麽是大模型

 

1.1.1大模型的定義

 

1.1.2大模型的關鍵特徵

 

1.1.3大模型是如何工作的

 

1.2當前流行的大模型

 

1.2.1BERT

 

1.2.2GPT3和 ChatGPT 

 

1.2.3T5

 

1.3垂直領域大模型

 

1.4大模型的應用

 

1.4.1經典的NLP任務

 

1.4.2自由文本生成

 

1.4.3信息檢索/神經語意搜索

 

1.4.4聊天機器人

 

1.5本章小結

 

第2章大模型語義檢索

 

2.1簡介

 

2.2語義檢索的任務

 

2.3非對稱語義檢索方案概述

 

2.4組件

 

2.4.1文本嵌入器

 

2.4.2文檔分塊

 

2.4.3向量數據庫

 

2.4.4Pinecone

 

2.4.5開源替代方案

 

2.4.6檢索結果重排

 

2.4.7API

 

2.5完整方案

 

2.6閉源組件的成本

 

2.7本章小結

 

第3章提示詞工程入門

 

3.1簡介

 

3.2提示詞工程

 

3.2.1LLM的對齊

 

3.2.2LLM提問

 

3.2.3小樣本學習

 

3.2.4結構化輸出

 

3.2.5人物角色提示詞

 

3.3跨模型提示詞工程

 

3.3.1ChatGPT 

 

3.3.2Cohere

 

3.3.3開源提示詞工程

 

3.4採用ChatGPT構建問答機器人

 

3.5本章小結

 

第2部分充分挖掘大模型的潛力

 

第4章通過定製化微調優化大模型

 

4.1簡介

 

4.2遷移學習與微調入門

 

4.2.1微調過程的解釋

 

4.2.2閉源預訓練模型作為基礎模型

 

4.3OpenAI 微調 API 概覽

 

4.3.1GPT3微調 API

 

4.3.2案例學習: 亞馬遜評論情感分類

 

4.3.3數據指南和最佳實踐

 

4.4使用OpenAI CLI實現自定義數據微調

 

4.5設置 OpenAI CLI

 

4.6LLM微調實踐

 

4.6.1採用量化指標評測大模型

 

4.6.2定性評估技術

 

4.6.3將微調的GPT3模型集成到應用程序中

 

4.6.4案例學習: 亞馬遜評論分類

 

4.7本章小結

 

第5章高級提示工程

 

5.1提示註入攻擊

 

5.2輸入/輸出驗證

 

 

5.3批處理提示

 

5.4提示鏈

 

5.4.1提示鏈作為防禦提示註入的手段

 

5.4.2使用提示鏈來防止提示填充

 

5.4.3使用提示鏈來安全地使用多模態LLM

 

5.5思維鏈提示

 

 

5.6重新審視小樣本學習

 

 

5.7測試和迭代快速開發

 

5.8本章小結

 

第6章定製嵌入層和模型架構

 

6.1案例研究: 構建一個推薦系統

 

6.1.1定義問題和數據

 

6.1.2推薦系統的定義

 

6.1.3基於萬條用戶行為數據構建推薦系統

 

6.1.4生成自定義字段來對比項目的相似性

 

6.1.5採用基礎詞向量構建基線

 

6.1.6準備微調數據

 

6.1.7使用Sentence Transformers微調開源嵌入器

 

6.1.8微調效果總結

 

 

6.2本章小結

 

第3部分大模型的高級使用

 

第7章超越基礎模型

 

7.1案例研究: 視覺問答

 

7.1.1模型簡介: DistilBERT、視覺轉換器和GPT2

 

7.1.2隱藏狀態投影和融合

 

7.1.3交叉註意力是什麽以及為什麽至關重要

 

7.1.4定製多模式聯運模型

 

7.1.5數據: 視覺問答

 

7.1.6VQA訓練迭代

 

7.1.7結果總結

 

7.2案例研究: 從反饋中強化學習

 

7.2.1FLANT5模型

 

7.2.2獎勵模型: 情感和語法正確性

 

7.2.3Transformer強化學習

 

7.2.4RLF訓練循環

 

7.2.5結果總結

 

7.3本章小結

 

第8章開源大模型的高級微調方法

 

8.1案例研究: 採用BERT對動漫進行多標簽分類

 

8.1.1採用Jaccard相似分來評估動漫標題多標簽分類的效果

 

8.1.2簡單的微調大模型訓練流程

 

8.1.3通用的開源大模型微調技巧

 

8.1.4結果總結

 

8.2採用GPT2生成LaTeX

 

8.2.1開源大模型的提示詞工程 

 

8.2.2結果總結 

 

8.3Sinan嘗試做出聰明而優美的回應: SAWYER

 

8.3.1有監督指令微調 

 

8.3.2獎勵模型的訓練 

 

8.3.3從(期望的)人類反饋中進行強化學習 

 

8.3.4結果總結 

 

8.4日新月異的微調世界

 

8.5本章小結

 

第9章將LLM應用於生產

 

9.1閉源LLM應用於生產

 

9.2開源LLM應用於生產

 

9.2.1將LLM應用於推理

 

9.2.2互操作性

 

9.2.3模型量化

 

9.2.4模型剪枝

 

9.2.5知識蒸餾

 

9.2.6大模型的成本預估

 

9.2.7模型推送到Hugging Face倉庫

 

9.3本章小結

 

9.3.1歡迎向社區貢獻代碼

 

9.3.2繼續加油

 

第4部分附錄

 

附錄ALLM常見問題解答

 

附錄BLLM術語表

 

附錄CLLM應用架構