這就是推薦系統 — 核心技術原理與企業應用

推薦系統作為近年來非常熱門的AI技術落地場景，已廣泛應用於各行業的互聯網應用，從衣食住行到娛樂消費，以及無處不在的廣告，背後都依賴推薦系統的決策。本書貼合工業級推薦系統，以推薦系統的整體技術框架為切入點，深入剖析推薦系統中的內容理解、用戶畫像、召回、排序、重排等核心模塊，介紹每個模塊的核心技術和業界應用，並展開介紹了推薦冷啟動、推薦偏置與消偏等常見問題和解決方案。此外，還對當前推薦系統領域的熱門前沿技術進行了介紹，包括強化學習、因果推斷、端上智能等。

第1章　初識推薦系統 1
1.1　推薦系統大時代 1
1.1.1 推薦系統的定義 2
1.1.2 推薦系統的價值 3
1.1.3 推薦系統的天時地利 4
1.1.4 推薦系統架構概覽 5
1.2 推薦系統的核心模塊 7
1.2.1 內容理解：理解和刻畫推薦內容 7
1.2.2 用戶畫像：理解和刻畫用戶 7
1.2.3 召回：為用戶初篩內容 8
1.2.4 排序：為用戶精選內容 9
1.2.5 重排：從業務角度進行內容調整 10
1.2.6 推薦系統質量評估體系 11
總結 11
第2章　多模態時代的內容理解 13
2.1 內容標簽體系建設 14
2.1.1 標簽體系的作用 14
2.1.2 標簽體系設計和建設 14
2.1.3 標簽提取和生成 16
2.2 文本內容理解 18
2.2.1 文本分類 18
2.2.2 文本標簽提取 21
2.2.3 文本聚類 22
2.2.4 文本Embedding 22
2.2.5 知識圖譜 26
2.3 多模態內容理解 28
2.3.1 圖像分類 28
2.3.2 視頻分類 30
2.3.3 視頻多模態內容Embedding 31
2.4 內容理解在推薦系統中的應用 32
總結 33
第3章　比你更瞭解自己的用戶畫像 34
3.1 初識用戶畫像 34
3.1.1 什麽是用戶畫像 35
3.1.2 用戶畫像的作用 35
3.1.3 用戶畫像系統架構 36
3.2 用戶畫像標簽體系 37
3.2.1 用戶基礎屬性標簽 37
3.2.2 用戶社交屬性標簽 39
3.2.3 用戶行為屬性標簽 39
3.2.4 用戶興趣標簽 40
3.2.5 用戶分層標簽 41
3.2.6 其他常用維度標簽 41
3.3 用戶畫像標簽開發 42
3.3.1 標簽的基礎數據 42
3.3.2 標簽計算整體流程 42
3.3.3 規則類標簽 44
3.3.4 統計類標簽 44
3.3.5 模型類標簽 45
3.4 用戶畫像實踐案例 46
總結 51

第4章　包羅萬象的召回環節 52
4.1 召回的基本邏輯和方法論 52
4.1.1 召回的重要性 52
4.1.2 召回與排序的區別 53
4.1.3 主要的召回策略與算法 54
4.2 傳統召回策略 55
4.2.1 基於內容的召回 55
4.2.2 經典協同過濾召回 56
4.2.3 探索類召回 58
4.3 向量化模型召回 59
4.3.1 向量化模型召回原理 59
4.3.2 從KNN到ANN 60
4.3.3 經典向量化召回模型 62
4.4 基於用戶行為序列的召回 65
4.4.1 SASRec——經典行為序列召回模型 65
4.4.2 BERT4Rec與BST——NLP技術與用戶行為序列結合 66
4.4.3 MIND及其衍生——多興趣召回模型 68
4.4.4 超長序列召回——建模用戶全期興趣 70
4.5 圖Embedding在召回中的應用 72
4.5.1 圖Embedding技術 73
4.5.2 DeepWalk——經典圖Embedding方法 74
4.5.3 Node2Vec——DeepWalk更進一步 75
4.5.4 PinSAGE——GCN在推薦系統領域的工業化應用 76
4.5.5 MetaPath2Vec——異構圖Embedding方法 77
4.6 前瞻性召回策略與模型 79
4.6.1 TDM——模型與索引結合的藝術 79
4.6.2 對比學習——樣本的魔法 81
4.7 召回質量評估方法 82
4.7.1 召回評估方法概述 83
4.7.2 召回率、精確率、F1值——基準評估指標 83
4.7.3 HR、ARHR——TopN推薦評價指標 84
4.7.4 CG、DCG、nDCG——信息增益維度的評估指標 84
4.7.5 長尾覆蓋評估 85
總結 86
第5章　投你所好的排序環節 87
5.1 排序環節的意義和優化方向 87
5.1.1 排序環節的意義 87
5.1.2 排序環節的優化方向 88
5.2 從Embedding看排序模型的演進 89
5.2.1 什麽是Embedding 90
5.2.2 Embedding的產生過程 91
5.2.3 特徵組合在深度排序模型中的應用 94
5.2.4 用戶歷史行為建模在深度排序模型中的應用 101
5.2.5 超大規模Embedding在實際中的應用 107
5.3 推薦系統粗排階段及其發展歷程 113
5.3.1 粗排定位與技術路線選擇 114
5.3.2 粗排模型架構的演變 116
5.3.3 使用知識蒸餾增強粗排與精排的一致性 120
5.3.4 緩解樣本選擇偏差 128
5.3.5 粗排效果的評價 130
5.4 多目標排序建模 131
5.4.1 多目標排序建模的意義和挑戰 131
5.4.2 多目標排序建模方法概覽 132
5.4.3 多目標融合尋參 142
5.5 推薦系統排序階段的評估 142
5.5.1 排序評估的兩個階段 143
5.5.2 常用的效果評估指標 144
5.5.3 常用的系統評估指標 145
5.5.4 離線和線上效果的一致性問題 146
總結 147
第6章　權衡再三重排序 148
6.1 重排序的必要性和作用 148
6.2 重排模型 150
6.2.1 重排模型建模的出發點 150
6.2.2 序列重排模型 151
6.2.3 基於強化學習的重排模型 157
6.3 重排多樣性策略 160
6.3.1 重排多樣性的出發點 160
6.3.2 多樣性評估指標 161
6.3.3 規則多樣性打散 162
6.3.4 多樣性模型策略 164
6.4 重排中的業務規則 167
總結 169
第7章　如若初見冷啟動 170
7.1 推薦冷啟動的定義與挑戰 170
7.2 冷啟動一般解決思路 171
7.3 新用戶推薦冷啟動 173
7.3.1 新用戶召回策略 173
7.3.2 新用戶排序模型 175
7.3.3 新用戶重排策略 177
7.4 新物品分發冷啟動 178
7.4.1 新物品冷啟動召回策略 179
7.4.2 新物品冷啟動排序策略 180
7.4.3 新物品冷啟動流量分配機制 181
總結 184
第8章　推薦系統中的魔術手 185
8.1 特徵工程 185
8.1.1 特徵的理解和分類 186
8.1.2 特徵挖掘維度 186
8.1.3 工程視角下的特徵工程開發 187
8.1.4 特徵工程的流程和方法 190
8.2 樣本加工藝術 193
8.2.1 如何提取有效樣本 193
8.2.2 負樣本優化 195
8.2.3 樣本遷移 197
8.2.4 其他樣本優化技巧 198
8.3 推薦系統實效性 198
8.3.1 推薦數據實效性 199
8.3.2 推薦模型實效性 201
8.3.3 在線學習整體機制 202
8.4 推薦中的偏差與消偏策略 202
8.4.1 推薦偏差的緣由 203
8.4.2 推薦系統常見偏差 203
8.4.3 常用的消偏技術和策略 205
總結 209
第9章　系統進化的利器——AB實驗平臺 210
9.1 什麽是AB實驗 210
9.2 AB實驗平臺框架 212
9.3 AB實驗分流機制＆實驗類型 214
9.4 AB實驗效果評估 217
9.4.1 推薦系統常見的AB指標 218
9.4.2 AB實驗的假設檢驗 219
9.4.3 AB實驗的流量大小 221
9.5 AB實驗並不是萬能的 221
總結 225
第10章　推薦系統中的前沿技術 226
10.1 強化學習 226
10.2 因果推斷 230
10.3 端上智能 235
10.4 動態算力分配 238
10.5 增益模型 241
總結 246