基於RAG的大模型應用開發：問答系統、多模態系統與Agent開發實踐

第1章  RAG基礎概述 1

1.1  RAG的概念 1

1.1.1  RAG的起源 1

1.1.2  RAG的基本原理 2

1.1.3  RAG的工作流程 4

1.1.4  RAG與模型微調的區別 4

1.2  RAG的優缺點 6

1.2.1  RAG的優點 6

1.2.2  RAG的缺點 7

1.3  RAG的應用場景 8

1.3.1  問答系統 8

1.3.2  內容生成 8

1.3.3  優化搜索引擎 9

1.3.4  Agent工具 9

1.4  RAG的發展與面臨的挑戰 9

1.4.1  向量化信息丟失 10

1.4.2  語義搜索不準確 11

1.4.3  長上下文大語言模型面臨的挑戰 11

1.4.4  隱私和安全問題 12

1.4.5  多模態對齊與融合 12

1.5  小結 13

第2章  RAG核心知識 14

2.1  文檔解析 14

2.1.1  加載目錄 14

2.1.2  加載CSV 16

2.1.3  加載HTML 17

2.1.4  加載JSON 18

2.1.5  加載Markdown 18

2.1.6  加載PDF 19

2.2  文檔分塊 20

2.2.1  按字符進行拆分 20

2.2.2  代碼分割 21

2.2.3  按Markdown標題進行分割 21

2.2.4  按字符遞歸進行分割 22

2.2.5  按標記進行分割 23

2.3  文本嵌入 23

2.3.1  文本嵌入的定義 24

2.3.2  文本嵌入的應用 24

2.4  向量數據庫 27

2.4.1  向量數據庫簡介 27

2.4.2  Faiss向量數據庫 27

2.5  向量檢索 29

2.5.1  稀疏向量檢索 29

2.5.2  稠密向量檢索 31

2.6  模型參數設置與提示詞工程使用 33

2.6.1  大語言模型參數設置 34

2.6.2  提示詞工程使用技巧 35

2.7  小結 41

第3章  RAG架構 42

3.1  經典RAG 42

3.1.1  經典RAG簡介 42

3.1.2  經典RAG架構 42

3.1.3  經典RAG構建實戰 44

3.2  多頭RAG 49

3.2.1  多頭RAG簡介 49

3.2.2  多頭RAG架構 50

3.2.3  多頭RAG構建實戰 51

3.3  自反思RAG 53

3.3.1  自反思RAG簡介 53

3.3.2  自反思RAG架構 54

3.3.3  自反思RAG構建實戰 55

3.4  糾正RAG 56

3.4.1  糾正RAG簡介 56

3.4.2  糾正RAG架構 57

3.4.3  糾正RAG構建實戰 58

3.5  自適應RAG 59

3.5.1  自適應RAG簡介 60

3.5.2  自適應RAG架構 60

3.5.3  自適應RAG構建實戰 62

3.6  圖RAG 63

3.6.1  圖RAG簡介 64

3.6.2  圖RAG架構 64

3.6.3  圖RAG構建實戰 66

3.7  小結 71

第4章  RAG優化 73

4.1  源數據清洗與整合 73

4.1.1  源數據清洗 73

4.1.2  多數據源整合 76

4.1.3  多模態數據融合 76

4.2  向量數據庫優化 77

4.2.1  存儲格式優化 77

4.2.2  量化壓縮優化 78

4.2.3  檢索算法優化 79

4.2.4  工程優化技術 81

4.3  檢索質量提升 82

4.3.1  文本分塊優化 82

4.3.2  高質量嵌入模型 85

4.3.3  查詢重寫 86

4.3.4  重排序器 86

4.3.5  混合檢索優化 89

4.3.6  多模態檢索優化 93

4.4  提示詞工程優化 94

4.4.1  動態提示詞生成 94

4.4.2  多輪提示詞優化 95

4.4.3  多模態提示詞融合 96

4.5  大語言模型優化 98

4.5.1  模型參數優化 98

4.5.2  模型量化優化 99

4.5.3  模型微調優化 100

4.5.4  模型推理優化 101

4.6  小結 101

第5章  RAG評估 102

5.1  RAG評估概述 102

5.1.1  加拿大航空公司的故事 102

5.1.2  RAG存在的問題 103

5.1.3  RAG評估的目的 104

5.1.4  RAG要解決的問題 105

5.2  RAG評估指標 106

5.2.1  RAG Triad框架 107

5.2.2  檢索模塊的評估指標 108

5.2.3  生成模塊的評估指標 112

5.2.4  端到端的評估指標 113

5.3  RAG評估數據集與工具 115

5.3.1  RAG評估數據集 115

5.3.2  RAG評估工具 116

5.4  RAGAS評估工具實踐 118

5.4.1  RAGAS評估數據集 119

5.4.2  RAGAS評估指標 124

5.4.3  RAGAS評估實戰案例 136

5.5  小結 138

第6章  Dify入門與應用實踐 139

6.1  Dify簡介 139

6.2  Dify安裝與部署 140

6.2.1  雲服務 140

6.2.2  Dify Premium簡介 141

6.2.3  Docker部署 141

6.2.4  本地源碼部署 143

6.3  Dify功能模塊詳解 146

6.3.1  探索 146

6.3.2  工作室 146

6.3.3  知識庫 149

6.3.4  工具 150

6.4  Dify知識庫創建 151

6.4.1  選擇數據源 151

6.4.2  文本分段與清洗 151

6.4.3  索引與檢索配置 153

6.4.4  知識庫召回測試 154

6.4.5  應用內集成知識庫 154

6.4.6  通過API訪問知識庫 155

6.5  Dify工作流創建 162

6.5.1  核心節點 163

6.5.2  配置變量 164

6.5.3  編排節點 169

6.5.4  訪問API 169

6.6  Dify工具創建 171

6.6.1  發布自定義工具 172

6.6.2  使用自定義工具 178

6.7  小結 179

第7章  基於RAG構建智能問答系統 180

7.1  智能問答系統概述 180

7.1.1  智能問答系統的定義 181

7.1.2  智能問答系統的發展簡史 182

7.1.3  智能問答系統的處理流程 182

7.1.4  智能問答系統的應用分類 184

7.2  智能問答系統技術架構的演變 186

7.2.1  基於規則的智能問答系統架構 187

7.2.2  基於檢索的智能問答系統架構 188

7.2.3  基於知識圖譜的智能問答系統架構 190

7.2.4  基於生成式的智能問答系統架構 192

7.2.5  基於多模態的智能問答系統架構 193

7.3  構建基於RAG的智能對話系統 194

7.3.1  智能對話系統基礎 195

7.3.2  RAG增強智能對話系統 196

7.3.3  RAG聯動意圖識別與槽位填充 197

7.3.4  RAG實現多輪智能對話系統 199

7.3.5  RAG賦能智能對話系統的發展 200

7.4  小結 201

第8章  基於RAG構建多模態系統 202

8.1  多模態技術基礎 202

8.1.1  多模態技術簡介 202

8.1.2  多模態技術原理 203

8.1.3  多模態技術應用 205

8.1.4  多模態技術發展 206

8.2  視覺語言模型 208

8.2.1  視覺語言模型簡介 208

8.2.2  Qwen 2.5-VL模型本地推理 209

8.3  多模態嵌入模型 213

8.3.1  多模態嵌入模型簡介 213

8.3.2  中文CLIP模型本地推理 214

8.3.3  ImageBind模型本地推理 217

8.4  基於RAG的多模態系統設計與實現 219

8.4.1  基於RAG的多模態系統簡介 219

8.4.2  基於RAG的多模態系統設計 220

8.4.3  基於RAG的多模態系統實現 221

8.4.4  基於RAG的多模態系統發展 223

8.5  小結 224

第9章  基於RAG構建Agent系統 225

9.1  Agent概述 225

9.1.1  什麼是Agent 225

9.1.2  Agent的演進之路 226

9.1.3  Agent的常見分類 227

9.1.4  Agent的行業應用 228

9.1.5  Agent的未來發展 229

9.2  Agent技術框架 230

9.2.1  Agent的四大組件 231

9.2.2  ReAct框架原理 232

9.2.3  OpenAI的Agent SDK 234

9.3  基於RAG的Agent系統設計與實現 236

9.3.1  基於RAG的Agent系統簡介 237

9.3.2  基於RAG的Agent系統設計 237

9.3.3  基於RAG的Agent系統實現 239

9.4  Agent的發展趨勢 241

9.5  小結 241