貝葉斯數據分析（第2版） Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan 2nd Edition

约翰·K. 克鲁施克（John K. Kruschke），美国加州大学伯克利分校博士，美国印第安纳大学心理学和脑科学名誉教授、统计学副教授，拥有近25年的统计学教学经验。他提出的注意力学习模型受到广泛关注，曾凭借在心理学研究方面所做的杰出贡献，斩获由美国国家科学院颁发的特罗兰研究奖。

第 1章 內容概覽 1

1.1 你真的可以讀懂本書 1

1.2 本書內容 2

1.2.1 你很忙。你最少要閱讀哪幾章 3

1.2.2 你真的很忙！能閱讀得再少一些嗎 3

1.2.3 你想多讀一點內容，但不要太多 3

1.2.4 如果你只是需要拒絕一個零假設 4

1.2.5 本書中與某傳統檢驗等同的方法在哪裡 4

1.3 第 2 版中有哪些新內容 5

1.4 給我反饋（請保持禮貌） 6

1.5 謝謝你們！ 7

第 一部分 基礎知識：模型、概率、貝葉斯法則和R

第 2章 可信度、模型與參數 10

2.1 貝葉斯推斷是在多種可能性間重新分配可信度 10

2.2 可能性是描述性模型中的參數值 15

2.3 貝葉斯數據分析的步驟 16

2.4 練習 21

第3章 R語言 22

3.1 獲取軟件 23

3.2 使用R 的一個簡單的例子 24

3.3 R 中的基本命令和運算符 26

3.3.1 在R 中獲取幫助 26

3.3.2 算術和邏輯運算符 26

3.3.3 賦值、關系運算符和等值判斷 27

3.4 變量類型 28

3.4.1 向量 28

3.4.2 因子 31

3.4.3 矩陣和數組 33

3.4.4 列表和數據框 35

3.5 加載和保存數據 36

3.5.1 函數read.csv 和read.table 36

3.5.2 在R 中存儲數據 38

3.6 一些工具函數 39

3.7 在R 中編程 42

3.7.1 R 中變量的名稱 43

3.7.2 運行程序 43

3.7.3 編寫一個函數 44

3.7.4 條件與循環 45

3.7.5 測量處理時間 46

3.7.6 調試 47

3.8 繪制圖形：打開和保存 48

3.9 小結 49

3.10 練習 49

第4章 概率是什麽 50

4.1 所有可能事件的集合 50

4.2 概率：腦海以外與腦海之內 52

4.2.1 腦海以外：長期相對頻率 52

4.2.2 腦海之內：主觀信念 54

4.2.3 概率為可能性分配數值 55

4.3 概率分佈 55

4.3.1 離散分佈：概率質量 55

4.3.2 連續分佈：與密度的約會 57

4.3.3 分佈的均值和方差 60

4.3.4 最高密度區間 62

4.4 雙向分佈 64

4.4.1 條件概率 65

4.4.2 屬性的獨立性 66

4.5 附錄：圖4-1 的R 代碼 67

4.6 練習 68

第5章 貝葉斯法則 70

5.1 貝葉斯法則概覽 70

5.1.1 從條件概率的定義得出貝葉斯法則 71

5.1.2 從雙向離散表得出貝葉斯法則 72

5.2 應用於參數和數據 74

5.3 完整示例：估計硬幣的偏差 77

5.3.1 樣本量對後驗概率的影響 80

5.3.2 先驗概率對後驗概率的影響 81

5.4 為什麽貝葉斯推斷很困難 82

5.5 附錄：圖5-1、圖5-2 等的R 代碼 82

5.6 練習 84

第二部分 二項概率推斷的基本原理

第6章 用精確的數學分析方法推斷二項概率 88

6.1 似然函數：伯努利分佈 89

6.2 可信度的描述：Beta分佈 90

6.3 Beta 後驗分佈 94

6.4 示例 96

6.4.1 用Beta分佈表示先驗知識 96

6.4.2 不能用Beta 分佈表示的先驗知識 97

6.5 小結 99

6.6 附錄：圖6-4 的R 代碼 99

6.7 練習 100

第7章 馬爾可夫鏈蒙特卡羅 102

7.1 用大樣本近似分佈 103

7.2 Metropolis 算法的一個簡單實例 104

7.2.1 根據Metropolis 算法游走的政治家 104

7.2.2 隨機游走 105

7.2.3 隨機游走的一般性質 106

7.2.4 我們為什麽要關心它 108

7.2.5 它為什麽是有效的 108

7.3 更一般的Metropolis 算法 111

7.3.1 對伯努利似然和Beta 分佈應用Metropolis 算法 112

7.3.2 Metropolis 算法總結 115

7.4 Gibbs 抽樣：估計兩枚硬幣的偏差 115

7.4.1 兩個偏差的先驗、似然和後驗 116

7.4.2 通過精確的數學分析方法得到後驗 118

7.4.3 通過Metropolis 算法得到後驗 120

7.4.4 Gibbs 抽樣 121

7.4.5 偏差之間是否有區別 125

7.4.6 術語：MCMC 126

7.5 MCMC 的代表性、準確性和效率 127

7.5.1 MCMC 的代表性 127

7.5.2 MCMC 的準確性 129

7.5.3 MCMC 的效率 134

7.6 小結 134

7.7 練習 135

第8章 JAGS 137

8.1 JAGS 及其與R 的關系 137

8.2 一個完整的例子 138

8.2.1 加載數據 140

8.2.2 定義模型 141

8.2.3 初始化鏈 142

8.2.4 生成鏈 144

8.2.5 診斷鏈 145

8.3 常用分析的簡化腳本 147

8.4 示例：偏差之間的差異 148

8.5 用JAGS 從先驗分佈中抽樣 150

8.6 JAGS 中可用的概率分佈 152

8.7 在runjags 中利用並行過程進行快速抽樣 153

8.8 擴展JAGS 模型時的提示 155

8.9 練習 156

第9章 層次模型 157

9.1 一個鑄幣廠的一枚硬幣 158

9.2 一個鑄幣廠的多枚硬幣 164

9.2.1 網格近似法得到的後驗分佈 165

9.2.2 一個實際的模型與MCMC 168

9.2.3 用JAGS 實現 170

9.2.4 示例：觸摸療法 171

9.3 層次模型中的收縮 176

9.4 使JAGS 加速 178

9.5 擴展層次結構：按類別劃分的被試 179

9.6 練習 186

第 10章 模型比較與層次建模 190

10.1 一般形式與貝葉斯因子 190

10.2 示例：兩個鑄幣廠 192

10.2.1 數學分析的解法 193

10.2.2 網格近似的解法 194

10.3 MCMC 的解法 196

10.3.1 用無層次的MCMC計算各模型的邊際似然 196

10.3.2 用有層次的MCMC計算模型的相對概率 199

10.3.3 JAGS 中具有不同“噪聲”分佈的模型 207

10.4 預測：模型平均 208

10.5 自然地考慮模型復雜度 209

10.6 對先驗分佈非常敏感 211

10.7 練習 213

第 11章 零假設顯著性檢驗 214

11.1 從良好的計劃出發 216

11.1.1 p 值的定義 216

11.1.2 固定了N 的計劃 218

11.1.3 固定了z 的計劃 220

11.1.4 固定了持續時間的計劃 222

11.1.5 進行多次檢驗的計劃 223

11.1.6 深思 225

11.1.7 貝葉斯數據分析 226

11.2 先驗知識 227

11.2.1 NHST 分析 227

11.2.2 貝葉斯數據分析 227

11.3 CI 和HDI 229

11.3.1 CI 取決於計劃 229

11.3.2 貝葉斯HDI 234

11.4 多重比較 235

11.4.1 NHST 實驗總體誤差校正 235

11.4.2 無論你怎麽看，都只需要一個貝葉斯後驗 237

11.4.3 貝葉斯數據分析如何減少虛假警報 237

11.5 抽樣分佈有什麽好處. 238

11.5.1 規劃實驗 238

11.5.2 探索模型預測率（後驗預測檢驗） 239

11.6 練習 239

第 12章 檢驗零假設的貝葉斯方法 242

12.1 參數估計的方法 242

12.1.1 實際等價區域 243

12.1.2 一些例子 245

12.2 模型比較的方法 248

12.2.1 硬幣是否公平 248

12.2.2 不同的組之間是否相等 251

12.3 參數估計與模型比較的聯系 255

12.4 參數估計還是模型比較 256

12.5 練習 256

第 13章 目標、功效與樣本量 259

13.1 想得到功效 259

13.1.1 目標與障礙 259

13.1.2 功效 260

13.1.3 樣本量 262

13.1.4 目標的其他表達法 263

13.2 計算功效與樣本量 264

13.2.1 當目標是排除零假設值時 264

13.2.2 R 中的數學分析解法與實現 265

13.2.3 當目標是精度時 267

13.2.4 功效的蒙特卡羅估計 269

13.2.5 理想或真實數據的功效 271

13.3 序列檢驗與精度目標 277

13.3.1 序列檢驗的例子 278

13.3.2 序列檢驗的一般表現 280

13.4 討論 284

13.4.1 功效與多重比較 284

13.4.2 功效：前瞻性、回顧性和重復性 284

13.4.3 功效分析要求模擬數據具有真實性 285

13.4.4 規劃的重要性 285

13.5 練習 286

第 14章 Stan 288

14.1 HMC 抽樣 289

14.2 安裝Stan 294

14.3 一個完整的示例 294

14.3.1 重復使用編譯後的模型 296

14.3.2 Stan 模型定義的總體結構 296

14.3.3 像Stan 那樣思考對數概率 297

14.3.4 在Stan 中對先驗抽樣 298

14.3.5 常用分析的簡化腳本 298

14.4 在Stan 中自上而下地定義模型 299

14.5 局限性 300

14.6 練習 300

第三部分 廣義線性模型

第 15章 廣義線性模型概述 304

15.1 變量類型 304

15.1.1 預測變量和被預測變量 305

15.1.2 尺度類型：計量、順序、名義和計數 305

15.2 多個預測變量的線性組合 307

15.2.1 單個計量預測變量的線性函數 307

15.2.2 計量預測變量的加法組合 308

15.2.3 計量預測變量的非加法交互作用 309

15.2.4 名義預測變量 311

15.3 從預測變量的組合到充滿噪聲的被預測變量的連接 316

15.3.1 從預測變量到被預測變量的集中趨勢 316

15.3.2 從被預測變量的集中趨勢到充滿噪聲的數據 319

15.4 廣義線性模型的形式化表達 322

15.5 練習 323

第 16章 單組或兩組的計量被預測變量 325

16.1 估計正態分佈的均值和標準差 325

16.1.1 數學分析的解法 327

16.1.2 JAGS 中的MCMC 近似法 329

16.2 離群值與穩健估計：t 分佈 332

16.2.1 在JAGS 中使用t 分佈 335

16.2.2 在Stan 中使用t 分佈 338

16.3 兩組 341

16.4 其他噪聲分佈和數據轉換 344

16.5 練習 345

第 17章 具有單個計量預測變量的計量被預測變量 347

17.1 簡單線性回歸 347

17.2 穩健線性回歸 349

17.2.1 JAGS 的穩健線性回歸 352

17.2.2 Stan 的穩健線性回歸 355

17.2.3 Stan 還是JAGS 356

17.2.4 解釋後驗分佈 356

17.3 群組中個體的層次回歸 357

17.3.1 JAGS 中的模型與實現 358

17.3.2 後驗分佈：收縮與預測 361

17.4 二次趨勢和加權數據 361

17.4.1 結果與解釋 365

17.4.2 進一步擴展 365

17.5 模型擴展的過程與風險 366

17.5.1 後驗預測檢驗 366

17.5.2 擴展JAGS 或Stan 模型的步驟 367

17.5.3 添加參數的風險 367

17.6 練習 369

第 18章 具有多個計量預測變量的計量被預測變量 372

18.1 多重線性回歸 372

18.1.1 相關預測變量的風險 373

18.1.2 模型與實現 376

18.1.3 後驗分佈 378

18.1.4 冗餘的預測變量 379

18.1.5 有信息的先驗、稀疏數據和相關的預測變量 383

18.2 計量預測變量的乘法交互作用 384

18.3 回歸系數的收縮 388

18.4 變量選擇 392

18.4.1 先驗的模糊程度對包含概率有巨大影響 395

18.4.2 層次收縮的變量選擇 397

18.4.3 報告什麽結果，得出什麽結論 400

18.4.4 註意：計算方法 401

18.4.5 註意：交互變量 401

18.5 練習 402

第 19章 具有單個名義預測變量的計量被預測變量 404

19.1 描述多組計量數據 405

19.2 傳統方差分析 406

19.3 層次貝葉斯方法 407

19.3.1 在JAGS 中實現 408

19.3.2 示例：交配與死亡 410

19.3.3 對比 412

19.3.4 多重比較與收縮 414

19.3.5 兩組的情況 414

19.4 加入一個計量預測變量 415

19.4.1 示例：交配、死亡和大小 416

19.4.2 類似於常規的ANCOVA 417

19.4.3 與層次線性回歸的關系 418

19.5 非齊性方差與離群值穩健性 418

19.6 練習 423

第 20章 具有多個名義預測變量的計量被預測變量 426

20.1 用多個名義預測變量描述多組計量數據 426

20.1.1 交互作用 427

20.1.2 傳統方差分析 429

20.2 層次貝葉斯方法 429

20.2.1 在JAGS 中實現 430

20.2.2 示例：僅僅是錢 431

20.2.3 主效應對比 435

20.2.4 交互作用對比和簡單效應 436

20.3 轉換尺度可以改變交互作用、同質性和正態性 437

20.4 非齊性方差與離群值穩健性 40

20.5 被試內設計 443

20.5.1 為什麽使用被試內設計，以及為什麽不使用 445

20.5.2 裂區設計 446

20.6 模型比較方法 451

20.7 練習 452

第 21章 二分被預測變量 455

21.1 多個計量預測變量 455

21.1.1 JAGS 中的模型與實現 456

21.1.2 示例：身高、體重和性別 458

21.2 解釋回歸系數 461

21.2.1 對數勝率 461

21.2.2 當取1 或取0 的數據很少時 462

21.2.3 相關的預測變量 463

21.2.4 計量預測變量的交互作用 464

21.3 穩健邏輯斯諦回歸 465

21.4 名義預測變量 468

21.4.1 單組 468

21.4.2 多組 471

21.5 練習 474

第 22章 名義被預測變量 476

22.1 softmax 回歸 476

22.1.1 僅有兩種結果時，softmax函數降階為邏輯斯諦函數 479

22.1.2 無關屬性的獨立性 479

22.2 條件邏輯斯諦回歸 480

22.3 JAGS 中的實現 483

22.3.1 softmax 模型 483

22.3.2 條件邏輯斯諦模型 485

22.3.3 結果：解釋回歸系數 486

22.4 模型的推廣和變化 490

22.5 練習 490

第 23章 順序被預測變量 492

23.1 使用潛在的計量變量對順序數據建模 492

23.2 單組的情況 495

23.2.1 在JAGS 中實現 495

23.2.2 示例：貝葉斯估計恢復真實參數值 497

23.3 兩組的情況 500

23.3.1 在JAGS 中實現 500

23.3.2 示例：不好笑 501

23.4 計量預測變量的情況 504

23.4.1 在JAGS 中實現 505

23.4.2 示例：幸福感與金錢 505

23.4.3 示例：電影，它們跟以前不一樣了 509

23.4.4 為什麽有些閾值在數據之外 511

23.5 後驗預測 513

23.6 推廣和擴展. 514

23.7 練習 515

第 24章 計數被預測變量 517

24.1 泊松指數模型 517

24.1.1 數據結構 518

24.1.2 指數連接函數 518

24.1.3 泊松噪聲分佈 520

24.1.4 JAGS 中的完整模型與實現 521

24.2 示例：頭發顏色 523

24.3 示例：交互作用對比、收縮和綜合檢驗 524

24.4 列聯表的對數線性模型 526

24.5 練習 526

第 25章 後備箱里的工具 530

25.1 報告貝葉斯數據分析的結果 530

25.1.1 關鍵點 531

25.1.2 可選點 532

25.1.3 實用點 532

25.2 計算HDI 的函數 532

25.2.1 計算網格近似的HDI的R代碼 533

25.2.2 單峰分佈的HDI 是最短區間 533

25.2.3 計算MCMC 樣本的HDI的R代碼 534

25.2.4 計算函數的HDI的R代碼 535

25.3 重新參數化 535

25.3.1 例子 536

25.3.2 兩個參數的重新參數化 537

25.4 JAGS 中的缺失數據 537

25.5 接下來呢 541