稀疏統計學習及其應用 稀疏统计学习及其应用

作者:[美]特里瓦·哈斯蒂（Trevor Hastie）譯者:劉波  景鵬傑

Trevor Hastie美國統計學家和計算機科學家，斯坦福大學統計學教授，英國統計學會、國際數理統計協會和美國統計學會會士。Hastie參與開發了R中的大部分統計建模軟件和環境，發明了主曲線和主曲面。

Robert Tibshirani斯坦福大學統計學教授，國際數理統計協會、美國統計學會和加拿大皇家學會會士，1996年COPSS總統獎得主，提出lasso方法。Hastie和Tibshirani都是統計學習領域的泰山北斗，兩人合著了The Elements of Statistical Learning，還合作講授斯坦福大學的公開課“統計學習”。

Martin Wainwright畢業於MIT，加州大學伯克利分校教授，以對統計與計算交叉學的理論和方法研究而聞名於學界，主要關注高維統計、機器學習、圖模型和信息理論。2014年COPSS總統獎得主。
 

第1章引言1 

第2章lasso線性模型6 
2.1引言6 
2.2 lasso估計7 
2.3交叉驗證和推斷10 
2.4 lasso解的計算12 
2.4.1基於單變量的軟閾值法12 
2.4.2基於多變量的循環坐標下降法13 
2.4.3軟閾值與正交基15 
2.5自由度15 
2.6 lasso解16 
2.7理論概述17 
2.8非負garrote 17 
2.9烏q懲罰和貝葉斯估計19 
2.10一些觀點20 
習題21 

第3章廣義線性模型24 
3.1引言24 
3.2邏輯斯蒂回歸模型26 
3.2.1示例：文本分類27 
3.2.2算法29 
3.3多分類邏輯斯蒂回歸30 
3.3.1示例：手寫數字31 
3.3.2算法32 
3.3. 3組lasso多分類33 
3.4對數線性模型及泊松廣義線性模型33 
3.5 Cox比例風險模型35 
3.5.1交叉驗證37 
3.5.2預驗證38 
3.6支持向量機39
3.7計算細節及glmnet 43 
參考文獻註釋44 
習題45 

第4章廣義lasso懲罰47 
4.1引言47 
4.2彈性網懲罰47 
4.3組lasso 50 
4.3.1組lasso計算53 
4.3.2稀疏組lasso 54 
4.3.3重疊組lasso 56 
4.4稀疏加法模型和組lasso 59 
4.4.1加法模型和back.tting 59 
4.4.2稀疏加法模型和back.tting 60 
4.4.3優化方法與組lasso 61 
4.4.4稀疏加法模型的多重懲罰64 
4.5融合lasso 65 
4.5.1擬合融合lasso 66 
4.5.2趨勢濾波69 
4.5.3近保序回歸70 
4.6非凸懲罰72 
參考文獻註釋74 
習題75 

第5章優化方法80 
5.1引言80 
5.2凸優化條件80 
5.2.1優化可微問題80 
5.2.2非可微函數和次梯度83 
5.3梯度下降84 
5.3.1無約束的梯度下降84 
5.3.2投影梯度法86
5.3.3近點梯度法87 
5.3.4加速梯度方法90 
5.4坐標下降92 
5.4.1可分性和坐標下降93 
5.4.2線性回歸和lasso 94 
5.4.3邏輯斯蒂回歸和廣義線性模型97 
5.5仿真研究99 
5.6z小角回歸100 
5.7交替方向乘子法103 
5.8優化–zui小化算法104 
5.9雙凸問題和交替zui小化105 
5.10篩選規則108 
參考文獻註釋111 
附錄A lasso的對偶112 
附錄B DPP規則的推導113 
習題114

第6章統計推斷118 
6.1貝葉斯lasso 118 
6.2自助法121 
6.3 lasso法的後選擇推斷125 
6.3.1協方差檢驗125 
6.3.2選擇後推斷的更廣方案128 
6.3. 3檢驗何種假設133 
6.3.4回到向前逐步回歸134 
6.4通過去偏lasso推斷134 
6.5後選擇推斷的其他建議136 
參考文獻註釋137 
習題138 

第7章矩陣的分解、近似及填充141 
7.1引言141
7.2奇異值分解142 
7.3缺失數據和矩陣填充143 
7.3.1 Net.x電影挑戰賽144 
7.3.2基於原子範數的矩陣填充146 
7.3.3矩陣填充的理論結果149 
7.3.4間隔分解及相關方法153 
7.4減秩回歸154 
7.5通用矩陣回歸框架156 
7.6懲罰矩陣分解157 
7.7矩陣分解的相加形式160 
參考文獻註釋164 
習題165 

第8章稀疏多元方法169 
8.1引言169 
8.2稀疏組成分分析169 
8.2.1背景169 
8.2.2稀疏主成分171 
8.2.3秩大於1的解174 
8.2.4基於Fantope投影的稀疏PCA 176 
8.2.5稀疏自編碼和深度學習176 
8.2.6稀疏PCA的一些理論178 
8.3稀疏典型相關分析179 
8.4稀疏線性判別分析182 
8.4.1標準理論和貝葉斯規則182 
8.4.2最近收縮中心183 
8.4.3 Fisher線性判別分析184 
8.4.4評分188 
8.5稀疏聚類190 
8.5.1聚類的一些背景知識191
8.5.2稀疏層次聚類191 
8.5.3稀疏K均值聚類192 
8.5.4凸聚類193 
參考文獻註釋195 
習題196 

第9章圖和模型選擇202 
9.1引言202 
9.2圖模型基礎202 
9.2.1分解和馬爾可夫特性202 
9.2.2幾個例子204 
9.3基於懲罰似然的圖選擇206 
9.3.1高斯模型的全局似然性207 
9.3.2圖lasso算法208 
9.3.3利用塊對角化結構210 
9.3.4圖lasso的理論保證211 
9.3.5離散模型的全局似然性212 
9.4基於條件推斷的圖選擇213 
9.4.1高斯分佈下基於近鄰的似然概率214 
9.4.2離散模型下基於近鄰的似然概率214 
9.4.3混合模型下的偽似然概率217 
9.5帶隱變量的圖模型218 
參考文獻註釋219 
習題221 

第10章信號近似與壓縮感知225 
10.1引言225 
10.2信號與稀疏表示225 
10.2. 1正交基225 
10.2.2用正交基逼近228 
10.2.3用過完備基來重構229
10.3隨機投影與近似231 
10.3.1 Johnson–Lindenstrauss近似231 
10.3.2壓縮感知232 
10.4烏0恢復與烏1恢復之間的等價性234 
10.4.1受限零空間性質235 
10.4.2受限零空間的充分條件235 
10.4.3證明237 
參考文獻註釋238 
習題239 

第11章lasso的理論結果242 
11.1引言242 
11.1.1損失函數類型242 
11.1.2稀疏模型類型243 
11.2 lasso烏2誤差的界限244 
11.2 .1經典情形中的強凸性244 
11.2.2回歸受限特徵值245 
11.2.3基本一致性結果246 
11.3預測誤差的界250 
11.4線性回歸中的支持恢復252 
11.4.1 lasso的變量選擇一致性252 
11.4.2定理11.3的證明256 
11.5超越基礎lasso 259 
參考文獻註釋260 
習題261 
參考文獻264