推薦系統：產品與算法解析

王超，北京大学硕士，多年来专注于推荐系统和计算广告等领域的研究和实践。曾任百度杰出架构师，并与刘鹏合著《计算广告》一书。

第 一部分　推薦產品的破局之道

第 1章　產品創新引領的供給側變革 3

1.1　媒介創新比內容更重要 3

1.1.1　媒介變遷的趨勢展望 3

1.1.2　推薦產品的演化方向 6

1.2　把控上游的創作工具 9

1.2.1　創作工具的戰略價值 9

1.2.2　策採編發的全鏈路重塑 11

1.3　激勵相容的生態機制創新 13

1.3.1　從廣告拍賣機制說起 13

1.3.2　推薦中的生態機制設計 15

第 2章　技術創新引領的供給側變革 18

2.1　殊途的CV與NLP範式 18

2.1.1　從人工特徵到CNN結構 19

2.1.2　從專家系統到RNN結構 21

2.2　走向融合的CV與NLP範式 25

2.2.1　從註意力機制到Transformer 25

2.2.2　只需Transformer的內容理解 30

2.2.3　自回歸、生成對抗和擴散範式下的內容生成 33

2.2.4　大模型時代的推薦產業變革 39

第3章　從產品視角看需求側增長 43

3.1　從AARRR模型看用戶增長 43

3.1.1　獲客渠道的選擇 44

3.1.2　激活的定義和誤區 46

3.1.3　從留存曲線看產品優化 47

3.1.4　產品的商業化變現 49

3.2　從網絡效應視角看用戶增長 50

3.2.1　從網絡效應看推薦產品演進 50

3.2.2　供需匹配的破局策略 53

3.2.3　理解網絡效應時的常見誤區 55

第4章　E&E視角下的新用戶推薦 58

4.1　單狀態假設下的Bandit策略 58

4.1.1　MAB問題的定義與評價 58

4.1.2　主流Bandit策略介紹 60

4.2　MDP假設下的模型RL方法 63

4.2.1　從通盤決策的AlphaGo說起 63

4.2.2　從模型RL視角看新用戶推薦 67

4.2.3　基於模型RL的實踐思路 68

第5章　元學習視角下的新用戶推薦 72

5.1　快速自適應參數的範式 72

5.1.1　模型無關的MAML方法 72

5.1.2　MAML方法的推薦實踐 74

5.2　基於比較歸納的範式 77

5.2.1　從度量學習到對比學習 77

5.2.2　比較歸納方法的推薦實踐 80

5.3　仿生記憶機制的範式 82

5.3.1　從神經圖靈機到大模型 82

5.3.2　仿生記憶方法的推薦實踐 86

第6章　A/B測試是增長的銀彈嗎 88

6.1　A/B測試的原理和優勢 88

6.1.1　A/B測試的原理 88

6.1.2　A/B測試的優勢 91

6.2　濫用A/B測試時的增長困境 92

6.2.1　難以優化留存等長期目標 92

6.2.2　難以反向優化出新市場 95

6.2.3　難以做出真正的產品創新 97

第二部分　信息推薦

第7章　瞬息萬變的新聞推薦 103

7.1　曾統治硅谷的雅虎 103

7.1.1　雅虎門戶的發展史 103

7.1.2　雅虎新聞推薦的興衰 105

7.2　針對突發新聞的實時推薦策略 107

7.2.1　非穩態分佈下的E&E策略 107

7.2.2　快慢結合的模型更新範式 109

7.2.3　讓特徵動起來的樹模型 111

第8章　獲取信息的資訊推薦 114

8.1　屢失良機的谷歌推薦 114

8.1.1　對推薦產品崛起的遲鈍 114

8.1.2　困於搜索思維的推薦生態 117

8.2　相關性需求下的信息檢索技術 120

8.2.1　語義匹配的主流技術 120

8.2.2　近無損全庫遍歷的ANN檢索 123

8.3　從峰終定律看排序策略設計 125

8.3.1　不同需求模式下的體驗設計 125

8.3.2　明確需求下的NDCG優化 127

8.3.3　多元需求下的多樣性優化 131

第三部分　社交和社區推薦

第9章　永遠年輕的社交產品 137

9.1　社交推薦中優化的關鍵 137

9.1.1　強化社交效用時的原則 137

9.1.2　優化內容效用的路徑選擇 139

9.2　從Facebook看社交效用優化 140

9.2.1　更高效的社交資本積累 140

9.2.2　更高效的社交關系維系 143

9.3　從交友產品看雙向推薦問題 144

9.3.1　滿意即流失的婚戀場景 144

9.3.2　促成線上雙向匹配的Tinder 145

9.3.3　促成線下穩定婚配的Hinge 147

9.4　社交場景中的推薦策略 148

9.4.1　社交媒體中的推薦策略 148

9.4.2　穩定婚配假設下的GS算法 149

9.4.3　傳統推薦的雙向匹配改造 151

第 10章　春耕秋收的社區產品 154

10.1　社區產品的培育原則 154

10.1.1　以人為核心的原創內容 154

10.1.2　強化關系的穩定建立 156

10.1.3　引導角色的良性分化 158

10.2　從媒介側創新的Instagram 161

10.2.1　從文到圖的媒介變革 161

10.2.2　恰到好處的創作工具 162

10.2.3　從創作工具向社區轉型 164

10.3　無為而治的Reddit 165

10.3.1　顯式組織的社區結構 165

10.3.2　簡單健壯的投票機制 167

第 11章　模擬社交的協同過濾 169

11.1　推薦系統的起源 169

11.1.1　更相信人的智慧的Tapestry 169

11.1.2　模擬協同關系的GroupLens 170

11.2　對協同關系的模擬建模 172

11.2.1　從復雜網絡看推薦系統 172

11.2.2　對局部近鄰關系的模擬 177

11.2.3　對全局拓撲結構的模擬 179

11.3　基於模擬關系的協同推薦 183

11.3.1　協同過濾的核心優勢 183

11.3.2　應用協同關系的在線環節 185

第四部分　視頻推薦

第 12章　降低決策成本的電影推薦 189

12.1　電影推薦的傳奇奈飛 189

12.1.1　奈飛對百視達的逆襲 189

12.1.2　奈飛對自我的不斷革新 191

12.2　優化線下體驗的評分預測 193

12.2.1　評分預測產品的興衰 193

12.2.2　評分預測算法的演進趨勢 195

第 13章　和電視競爭的短視頻推薦 200

13.1　激勵相容的YouTube生態機制 200

13.1.1　多方受益的Content　ID機制 201

13.1.2　穩固自建生態的YPP機制 202

13.1.3　革新廣告效率的TrueView機制 203

13.2　直面海量候選的深度學習召回 204

13.2.1　召回的里程碑：YouTubeDNN 205

13.2.2　索引與模型聯訓的復雜模型 207

13.2.3　提升模型魯棒性的樣本設計 210

13.3　優化長期時長收益的強化學習 212

13.3.1　YouTube優化目標的變遷史 213

13.3.2　價值方法的原理和實踐 216

13.3.3　策略方法的原理和實踐 220

第 14章　以快打慢的微視頻推薦 225

14.1　以音樂為內核的抖音 225

14.1.1　放棄內容時長的反向創新 225

14.1.2　從行為心理學看產品設計 227

14.1.3　以音軌為模板的爆款復制 229

14.2　不求最優化，但求多目標 230

14.2.1　道法自然的多目標融合 231

14.2.2　觸類旁通的多任務學習 234

第五部分　電商推薦

第 15章　歷久彌新的電商推薦產品 241

15.1　從阿裡看貨架電商的演進 241

15.1.1　逆襲易趣的關鍵勝負手 241

15.1.2　高築C端流量的護城河 242

15.2　從媒介側發起變革的新電商 245

15.2.1　用商一體的內容型電商 245

15.2.2　構建信任的直播熱媒介 247

15.2.3　撬動傳播的輕品類電商 249

第 16章　真金白銀的電商推薦技術 252

16.1　量化即時回報的優化思路 252

16.1.1　起源於廣告的點擊率預估 252

16.1.2　正例稀疏的轉化率預估 260

16.1.3　和NLP同源的序列信號建模 264

16.2　看重長期回報的優化思路 270

16.2.1　GMV的優化路徑拆解 271

16.2.2　新興電商的差異化策略 273