計算統計

目錄

第1章計算統計引論1

1.1科學研究範式與科學計算1

1.1.1科學研究範式1

1.1.2科學計算的興起和發展3

1.1.3計算統計的主要研究對象4

1.1.4科學計算的誤差7

1.2統計基礎14

1.2.1隨機變量和概率分布14

1.2.2似然推斷18

1.2.3貝葉斯推斷18

1.2.4統計極限理論19

1.3計算統計軟件20

1.3.1Python軟件20

1.3.2R軟件26

1.3.3MATLAB軟件26

1.4擴展閱讀27

1.5習題27第2章矩陣計算29

2.1內積與範數29

2.1.1向量的內積與範數29

2.1.2矩陣的內積與範數32

2.2逆矩陣37

2.2.1逆矩陣的定義與性質37

2.2.2矩陣求逆引理37

2.2.3可逆矩陣的求逆方法38

2.3矩陣微商41

2.3.1向量的微商41

2.3.2矩陣的微商及其性質43

2.4矩陣特征值計算45

2.4.1特征值及其性質45

2.4.2冪法47

2.5矩陣特征值計算的應用50

2.5.1網頁排序問題50

2.5.2網頁排序算法51

2.6擴展閱讀53

2.7習題53第3章函數逼近與最小二乘法56

3.1插值法56

3.1.1插值問題的提出56

3.1.2多項式插值56

3.1.3拉格朗日插值57

3.1.4牛頓插值62

3.1.5埃爾米特插值66

3.2插值法在圖像處理中的應用69

3.2.1雙線性插值69

3.2.2插值法應用70

3.3函數逼近71

3.3.1函數逼近與函數空間71

3.3.2函數內積與範數72

3.3.3正交函數與正交多項式74

3.3.4最佳逼近與最小二乘法82

3.4函數逼近的應用87

3.4.1回歸分析和回歸模型87

3.4.2回歸參數的估計89

3.4.3參數估計量的性質92

3.4.4多元線性回歸模型的統計檢驗94

3.4.5多元線性回歸模型應用96

3.5擴展閱讀97

3.6習題98第4章方程與方程組的數值解法100

4.1非線性方程的數值解法100

4.1.1方程求根問題100

4.1.2二分法101

4.1.3不動點疊代法及其收斂性103

4.1.4疊代收斂的加速方法109

4.1.5自適應運動估計算法（Adam）111

4.1.6牛頓法112

4.1.7弦截法與拋物線法116

4.2非線性方程組的數值解法118

4.2.1非線性方程組118

4.2.2多元不動點疊代法119

4.2.3牛頓疊代法120

4.2.4牛頓疊代法變形121

4.3方程和方程組的數值解法的應用124

4.3.1極大似然估計問題124

4.3.2極大似然估計的疊代求解125

4.4擴展閱讀127

4.5習題127第5章數值積分與數值微分129

5.1數值積分概論129

5.1.1數值積分的基本思想129

5.1.2代數精度的概念130

5.1.3插值型求積公式132

5.1.4求積公式的余項132

5.1.5插值型求積公式的收斂性與穩定性134

5.2牛頓柯特斯公式135

5.2.1柯特斯系數與辛普森公式135

5.2.2偶數階求積公式的代數精度136

5.2.3牛頓柯特斯公式的余項137

5.3復合求積公式138

5.3.1復合梯形公式138

5.3.2復合辛普森公式139

5.4龍貝格求積公式140

5.4.1梯形法的遞推法140

5.4.2外推技巧140

5.4.3龍貝格算法142

5.5高斯求積公式143

5.5.1一般理論143

5.5.2高斯勒讓德求積公式147

5.5.3高斯切比雪夫求積公式148

5.5.4高斯拉蓋爾求積公式149

5.5.5高斯埃爾米特求積公式150

5.6數值微分151

5.6.1中點方法與誤差分析151

5.6.2插值型的求導公式152

5.6.3數值微分的外推方法152

5.7數值積分在貝葉斯推斷中的應用153

5.7.1(共軛)先驗分布與後驗分布153

5.7.2後驗分布的數值計算155

5.8擴展閱讀156

5.9習題156第6章馬爾可夫鏈蒙特卡洛模擬159

6.1馬爾可夫鏈159

6.1.1馬爾可夫過程及其概率分布159

6.1.2多步轉移概率矩陣160

6.1.3遍歷理論164

6.2馬爾可夫鏈蒙特卡洛模擬167

6.2.1馬爾可夫鏈蒙特卡洛模擬算法167

6.2.2收斂性評價與分析172

6.2.3參數設置、結果與示例174

6.3馬爾可夫鏈蒙特卡洛模擬在文本分類中的應用179

6.3.1文本主題模型179

6.3.2文本主題模型參數估計算法180

6.4擴展閱讀185

6.5習題185第7章EM優化算法187

7.1EM算法187

7.1.1缺失數據與邊際化187

7.1.2EM算法188

7.1.3EM算法的收斂性189

7.1.4方差估計192

7.2EM算法的變形193

7.2.1MCEM算法193

7.2.2ECM算法194

7.3EM算法在高斯混合分布參數學習中的應用195

7.3.1高斯混合分布195

7.3.2高斯混合分布參數估計算法195

7.4擴展閱讀199

7.5習題199第8章組合優化與啟發式算法200

8.1組合優化200

8.1.1P問題200

8.1.2NP問題與NPC問題200

8.2啟發式算法202

8.2.1局部搜索算法202

8.2.2模擬退火算法203

8.2.3遺傳算法204

8.3啟發式算法在回歸模型變量（模型）選擇中的應用207

8.3.1多元線性回歸模型的變量（模型）選擇問題207

8.3.2部分子集回歸208

8.4擴展閱讀210

8.5習題210附錄212

附錄A部分習題答案212

附錄BPython程序示例215參考文獻240