AB實驗：科學歸因與增長的利器

本書是AB實驗領域的標準化著作，它將帶領你快速理解AB實驗原理、掌握AB實驗方法、
搭建AB實驗平台、塑造基於數據和實驗的企業文化，高效開展AB實驗、實現用AB實驗驅動增長。
作者是某BAT大廠的數據科學家，在數據產品、AB實驗等數據科學領域有10餘年經驗，
親自主導了該廠AB實驗平台的搭建和AB實驗產品的設計與分析，積累了豐富的經驗。
學習本書，你將收穫以下知識和技能：
?AB實驗的基礎知識、關鍵問題及其挑戰；
?AB實驗的統計學知識、參與單元、隨機分流；
?AB實驗的SRM問題、靈敏度、長期影響；
?AB實驗的產品指標體系、評估指標體系；
?AB實驗的平台建設、組織和文化建設；
?AB實驗的增長實踐和解決方案；
?AB實驗的難點和局限性；
?因果分析方法和用戶調查分析方法
本書內容具有以下3個特點：
（1）全面系統、主次分明：如上所述，本書涵蓋AB實驗理論、實踐的方方面面，
重點放在對AB實驗關鍵環節的深入理解、關鍵問題的解決方案上，力爭把關鍵問題剖析到位，而不是面面俱到地泛泛而談；
（2）案例豐富、算例清晰：重要知識點都配有翔實的行業案例，
幫助讀者通過應用場景理解AB實驗；以深入淺出的方式闡述了AB實驗涉及的複雜數理知識；
（3）全球視野、與時具進：不僅總結了國內外優秀企業的AB實驗案例，而且將全球AB實驗領域先進的研究成果和案例融入了書中。
通過本書的深入學習，你將成為為一個實驗領域的專家，
完全可以處理常規的AB實驗中的大部分問題，幫助你更好地迭代產品，實現產品的優化和業務的增長。

前言
第一部分了解AB實驗
第1章AB實驗的基本原理和應用002
1.1 什麼是AB實驗002
1.1.1 AB實驗的定義002
1.1.2 AB實驗的類型004
1.2 AB實驗的3個基本要素005
1.2.1 實驗參與單元005
1.2.2 實驗控制參數007
1.2.3 實驗指標008
1.3 AB實驗的2個核心價值009
1.3.1 定性因果：驗證因果關係，確保方向正確009
1.3.2 定量增長：實踐數據驅動，精細成本收益012
1.4 AB實驗的2個關鍵特性015
1.5 AB實驗行業應用016
1.5.1 AB實驗應用場景016
1.5.2 AB實驗應用案例018
第二部分深入AB實驗
第2章AB實驗的關鍵問題026
2.1 實驗參與對象的3個問題027
2.2 實驗隨機分流的3個問題027
2.3 實驗指標的2個問題028
2.4 實驗分析和評估的3個問題028
第3章AB實驗的統計學知識031
3.1 隨機抽樣和抽樣分佈032
3.2 區間估計和置信區間037
3.3 樣本容量和邊際誤差038
3.3.1 均值類指標038
3.3.2 比率類指標040
3.4 假設檢驗041
3.4.1 為什麼需要假設檢驗041
3.4.2 如何進行假設檢驗042
3.4.3 第一類錯誤、第二類錯誤和功效047
3.4.4 如何計算功效049
3.5 非參數檢驗051
3.6 方差估計問題052
3.6.1 變化絕對差和相對差的方差估計053
3.6.2 比率類指標的方差估計054
3.6.3 其他指標的方差估計055
3.6.4 異常點對方差估計的影響055
3.7 多重測試問題056
3.7.1 什麼是多重測試問題056
3.7.2 如何避免多重測試056
3.7.3 如何控制多重測試問題058
第4章AB實驗參與單元061
4.1 實驗參與單元的選擇061
4.1.1 常見的實驗參與單元062
4.1.2 實驗參與單元粒度與實驗評估066
4.1.3 用戶級別的實驗參與單元067
4.2 實驗參與單元的SUTVA問題070
4.2.1 什麼是SUTVA070
4.2.2 為什麼需要讓SUTVA成立071
4.2.3 導致SUTVA不成立的原因073
4.2.4 如何解決SUTVA不成立的問題075
4.3 最小實驗參與單元數量079
第5章AB實驗的隨機分流083
5.1 單層分流模式083
5.2 正交分層模式084
5.2.1 正交性問題085
5.2.2 分層問題087
5.3 散列算法089
第6章AB實驗的SRM問題092
6.1 什麼是SRM問題092
6.2 導致SRM問題的原因093
6.2.1 部署階段093
6.2.2 執行階段097
6.2.3 數據處理和分析階段098
6.3 SRM指標計算和定位099
6.3.1 SRM指標計算099
6.3.2 定位SRM問題099
第7章AA實驗101
7.1 AA實驗的意義101
7.1.1 控制第一類錯誤102
7.1.2 確保用戶同質104
7.1.3 數據指標對齊105
7.1.4 估計統計方差106
7.2 如何運行AA實驗108
7.2.1 什麼時候運行AA實驗108
7.2.2 AA實驗失敗的常見原因110
第8章AB實驗的靈敏度112
8.1 什麼是實驗靈敏度112
8.2 如何提昇實驗靈敏度113
8.3 選擇指標114
8.3.1 選擇方差較小的評估指標114
8.3.2 標準化評估指標115
8.4 選擇實驗參與對象116
8.4.1 採用更細粒度的單元隨機化對象116
8.4.2 使用觸發分析116
8.5 選擇實驗分組117
8.5.1 使用分層、控制變量或CUPED方法117
8.5.2 設計配對實驗119
8.6 定向觸發技術和評估119
8.6.1 觸發的方式120
8.6.2 觸發範圍變化121
8.6.3 觸發實驗的分析123
8.6.4 觸發檢驗125
8.6.5 觸發技術的局限性125
8.7 如何驗證實驗靈敏度的提升127
第9章AB實驗的長期影響129
9.1 長短期影響不一致的原因130
9.2 評估長期影響的意義133
9.3 如何評估長期影響134
9.3.1 長周期實驗134
9.3.2 保留實驗和反轉實驗136
9.3.3 後期分析法137
9.3.4 時間交錯實驗法139
9.3.5 固定群組分析法140
9.3.6 長期影響的代理指標法141
第三部分AB實驗評估指標體系
第10章產品指標體系145
10.1 什麼是指標體系145
10.2 設計指標146
10.2.1 基於OKR的分級法147
10.2.2 OSM模型法153
10.2.3 指標設計和開發技巧154
10.3 評估指標156
10.3.1 信息增益156
10.3.2 因果關係158
10.3.3 長期有效性158
10.4 進化指標159
10.5 指標分類162
10.6 指標體系設計案例165
第11章實驗評估指標體系169
11.1 實驗評估指標的3個基本條件169
11.2 選擇更好的實驗評估指標170
11.2.1 綜合指向性與靈敏性170
11.2.2 從業務視角出發172
11.2.3 考慮應用和工程174
11.3 將關鍵指標合併為OEC175
11.3.1 如何建立OEC176
11.3.2 OEC的關鍵屬性179
11.3.3 構建OEC的注意事項179
11.3.4 構建OEC的案例180
第四部分AB實驗的基礎建設
第12章開展AB實驗的基礎條件187
12.1 決策層認知187
12.2 基礎工具建設188
12.2.1 購買外部服務189
12.2.2 自建平台190
12.3 文化製度建設191
第13章AB實驗平台的建設192
13.1 AB實驗平台架構193
13.2 實驗管理功能194
13.2.1 實驗創建管理195
13.2.2 實驗配置管理196
13.2.3 實驗操作管理197
13.2.4 實驗權限管理198
13.3 實驗部署功能199
13.3.1 流量分配大小200
13.3.2 流量分配時機202
13.3.3 實驗放量節奏203
13.3.4 不同類型實驗的部署205
13.3.5 實驗部署中的其他問題209
13.4 實驗數據處理和分析211
13.4.1 數據源212
13.4.2 數據處理214
13.4.3 指標定義和數據計算215
13.4.4 數據可視化219
13.4.5 數據分析221
13.5 AB實驗服務通用框架221
第14章實驗組織和文化建設224
14.1 決策層的支持與參與226
14.2 實驗專家團隊的帶領與教育228
14.3 業務團隊實驗骨幹的深入與傳遞229
14.4 全體參與和擴大影響231
14.5 國內AB實驗的開展情況233
14.6 實驗成熟度模型236
第五部分基於AB實驗的增長實踐
第15章構建想法：形成產品假設240
15.1 產品策劃找方向240
15.2 數據洞察找瓶頸245
第16章驗證想法：AB實驗實踐252
16.1 實驗假設252
16.1.1 目標性252
16.1.2 可歸因253
16.1.3 可複用254
16.2 實驗設計255
16.2.1 實驗樣本選擇255
16.2.2 實驗指標設計257
16.2.3 實驗流量計算258
16.2.4 實驗週期預估260
16.3 實驗運行261
16.3.1 實驗上線261
16.3.2 實驗停止263
16.3.3 實驗放量265
16.4 實驗分析和理解266
16.4.1 明確實驗影響範圍266
16.4.2 確保實驗對比人群具有可對比性270
16.4.3 實驗影響評估：先總後分、從主到次272
16.4.4 通過維度細分發現問題273
16.4.5 理解實驗統計學含義275
16.4.6 解讀數據背後的產品邏輯277
16.5 實驗決策278
16.5.1 從分析到決策278
16.5.2 3種實驗結果282
16.5.3 實驗報告284
第17章沉澱想法：實驗記憶285
17.1 什麼是實驗沉澱285
17.2 實驗沉澱的價值286
17.2.1 發現策略通用性286
17.2.2 從失敗中尋找機會289
17.2.3 發揚實驗文化...