智能語音處理

本書從智能化社會對語音處理提出的新要求出發，系統地介紹了智能語音處理涉及的基礎理論、基本技術、
主要方法以及典型的智能語音處理應用，理論與實際緊密結合，適合作為高等院校人工智能、電子信息工程、
物聯網工程、數據科學與大數據技術、通信工程等專業高年級本科生以及智能科學與技術、信號與信息處理、
網絡空間安全、通信與信息系統等學科研究生的參考教材，也可供從事語音處理技術研究與應用的科研及工程技術人員參考。

本書共11章，可分為四個部分。

第一部分是導論，對應第1章，概要介紹了經典語音處理與智能語音處理的基本概念以及語音處理的典型應用。

第二部分是基礎理論，包括第2～5章。
第2章介紹了稀疏和稀疏表示、冗餘字典以及壓縮感知的基本原理和方法；
第3章介紹了隱變量模型，包括高斯混合模型、隱馬爾可夫模型和高斯過程隱變量模型等；
第4章主要介紹主成分分析和非負矩陣分解兩種典型的組合模型；
第5章主要介紹人工神經網絡和深度學習的基礎知識以及深度神經網絡的典型結構。

第三部分是應用實踐，包括第6～10章。
第6章綜合利用稀疏表示、字典學習、深度學習等智能處理技術，分別介紹基於KL展開的字典學習的語音壓縮感知、
基於梅爾倒譜係數重構的抗噪低速率語音編碼以及基於深度自編碼器的抗噪低速率語音編碼這三種方案；
第7章重點介紹了基於非負矩陣分解和基於深度學習的智能語音增強方法；
第8章在介紹語音轉換的基本原理的基礎上，重點介紹了基於非負矩陣分解和基於深度神經網絡的譜轉換方法；
第9章首先介紹了說話人識別系統的框架和模型，然後分別介紹了基於i-vector和基於深度神經網絡的說話人識別方法；
第10章在介紹骨導語音特性和骨導語音盲增強的基本原理的基礎上，
分別介紹了基於長短時記憶網絡和基於均衡-生成組合譜映射的骨導語音盲增強方法。

第四部分是結束語，對應第11章，對全書進行了總結，並對智能語音處理的未來發展進行展望。

本書共11章，可分為四個部分。

第一部分是導論，對應第1章，概要介紹了經典語音處理與智能語音處理的基本概念以及語音處理的典型應用。

第二部分是基礎理論，包括第2～5章。
第2章介紹了稀疏和稀疏表示、冗餘字典以及壓縮感知的基本原理和方法；
第3章介紹了隱變量模型，包括高斯混合模型、隱馬爾可夫模型和高斯過程隱變量模型等；
第4章主要介紹主成分分析和非負矩陣分解兩種典型的組合模型；
第5章主要介紹人工神經網絡和深度學習的基礎知識以及深度神經網絡的典型結構。

第三部分是應用實踐，包括第6～10章。
第6章綜合利用稀疏表示、字典學習、深度學習等智能處理技術，分別介紹基於KL展開的字典學習的語音壓縮感知、
基於梅爾倒譜係數重構的抗噪低速率語音編碼以及基於深度自編碼器的抗噪低速率語音編碼這三種方案；
第7章重點介紹了基於非負矩陣分解和基於深度學習的智能語音增強方法；
第8章在介紹語音轉換的基本原理的基礎上，重點介紹了基於非負矩陣分解和基於深度神經網絡的譜轉換方法；
第9章首先介紹了說話人識別系統的框架和模型，然後分別介紹了基於i-vector和基於深度神經網絡的說話人識別方法；
第10章在介紹骨導語音特性和骨導語音盲增強的基本原理的基礎上，分別介紹了基於長短時記憶網絡和基於均衡-生成組合譜映射的骨導語音盲增強方法。

第四部分是結束語，對應第11章，對全書進行了總結，並對智能語音處理的未來發展進行展望。

前言
第1章智能語音處理導論1
1.1概述1
1.2經典語音處理2
1.2.1語音處理的發展2
1.2.2語音基本表示方法3
1.2.3語音處理基本方法3
1.2.4經典語音處理方法的不足4
1.3智能語音處理5
1.3.1智能語音處理的基本概念5
1.3.2智能語音處理的基本框架5
1.3.3智能語音處理的基本模型6
1.4語音處理的應用7
1.4.1語音處理的傳統應用領域8
1.4.2語音處理的新應用領域11
1.5小結14
參考文獻14
第2章稀疏和壓縮感知15
2.1引言15
2.2稀疏和稀疏表示16
2.2.1稀疏16
2.2.2稀疏表示18
2.3冗餘字典19
2.3.1基本概念19
2.3.2字典學習20
2.3.3字典學習算法22
2.3.4原子選擇算法25
2.4壓縮感知27
2.4.1基本概念27
2.4.2壓縮感知模型29
2.4.3觀測矩陣30
2.4.4信號重構32
2.5小結33
參考文獻33
第3章隱變量模型36
3.1引言36
3.2高斯混合模型36
3.2.1基本概念37
3.2.2 GMM參數估計37
3.3隱馬爾可夫模型39
3.3.1基本概念39
3.3.2 HMM關鍵問題42
3.4高斯過程隱變量模型48
3.4.1基本模型48
3.4.2 GPLVM的理論來源49
3.4.3 GPLVM模型訓練50
3.5小結51
參考文獻51
第4章組合模型52
4.1引言52
4.2主成分分析53
4.2.1基本模型53
4.2.2求解算法54
4.3非負矩陣分解56
4.3.1基本模型56
4.3.2求解算法57
4.3.3 NMF與其他數據表示模型的關係58
4.4魯棒組合模型60
4.4.1組合模型的魯棒性分析61
4.4.2魯棒主成分分析61
4.4.3魯棒非負矩陣分解63
4.5小結64
參考文獻64
第5章人工神經網絡和深度學習65
5.1引言65
5.2神經網絡基礎66
5.2. 1神經元模型66
5.2.2淺層神經網絡67
5.2.3深度神經網絡68
5.3深度學習69
5.3.1基本概念和形式69
5.3.2深度網絡的學習方法70
5.4深度神經網絡的典型結構71
5.4.1深度置信網絡71
5.4.2自動編碼器與棧式自動編碼器72
5.4.3卷積神經網絡74
5.4.4循環神經網絡75
5.4.5生成式對抗網絡77
5.5小結79
參考文獻79
第6章語音壓縮編碼81
6.1引言81
6.2基於字典學習的語音信號壓縮感知82
6.2.1語音信號的稀疏性82
6.2.2語音在常見變換域的稀疏化83
6.2.3基於KL展開的語音非相干字典84
6.2.4基於KL非相干字典的語音壓縮重構87
6.2.5實驗仿真與性能分析88
6.3基於梅爾倒譜係數重構的語音壓縮編碼93
6.3.1基於梅爾倒譜分析的抗噪語音編碼模型94
6.3 .2基於稀疏約束的梅爾倒譜合成96
6.3.3梅爾倒譜係數的量化算法99
6.3.4實驗仿真與性能分析103
6.4基於深度學習的語音壓縮編碼107
6.4.1基於DAE的幅度譜編碼和量化107
6.4.2基於DAE的低速率語音編碼110
6.4.3實驗仿真與性能分析111
6.5小結113
參考文獻113
第7章語音增強115
7.1引言115
7.2語音增強技術基礎116
7.2.1語音增強的估計參數116
7.2.2智能語音增強的語音特徵117
7.2.3性能評價118
7.3基於非負矩陣分解的語音增強120
7.3.1基本模型121
7.3.2基於不相交約束非負矩陣分解的語音增強122
7.3.3基於CNMF字典學習的語音增強127
7.4基於深度學習的語音增強136
7.4.1基於聽覺感知加權的深度神經網絡語音增強方法136
7.4.2基於聽覺感知掩蔽的深度神經網絡語音增強方法141
7.5小結151
參考文獻152
第8章語音轉換155
8.1引言155
8.2語音轉換基本原理155
8.3語音轉換模型與評價156
8.3.1語音分析/合成模型156
8.3.2語音參數的選擇157
8.3.3時間對齊157
8.3.4轉換模型和規則158
8.3.5轉換性能評價159
8.4基於非負矩陣分解的譜轉換160
8.4.1概述160
8.4.2基於卷積非負矩陣分解的譜轉換161
8.4.3聲道譜轉換效果164
8.5基於深度神經網絡的譜轉換168
8.5.1深度學習驅動下的語音轉換168
8.5. 2面向譜轉換的神經網絡模型選擇168
8.5.3基於BLSTM和神經網絡聲碼器交替訓練的語音轉換171
8.6小結176
參考文獻176
第9章說話人識別178
9.1引言178
9.2說話人識別基礎179
9.2 .1說話人識別系統框架179
9.2.2典型的說話人識別模型180
9.3基於i-vector的說話人識別及其改進181
9.3.1基於i-vector的說話人識別概述181
9.3.2用於提高i-vector魯棒性的幀加權方法182
9.3.3實驗結果與分析187
9.4基於深度神經網絡的說話人識別187
9.4.1基於深度神經網絡的說話人識別概述187
9.4.2基於對比度損失函數優化說話人矢量189
9.4.3實驗結果與分析191
9.5說話人識別系統的攻擊與防禦192
9.5.1攻擊和防禦的背景192
9.5.2說話人識別系統的攻擊方法192
9.5.3說話人識別攻擊的檢測方法194
9.5.4實驗結果與分析196
9.6小結196
參考文獻197
第10章骨導語音增強200
10.1引言200
10.2骨導語音增強基礎201
10.2.1骨導語音的產生與特性201
10.2.2骨導語音盲增強的特點202
10.2.3骨導語音盲增強的典型方法203
10.3基於長短時記憶網絡的骨導語音盲增強205
10.3.1骨導/氣導語音的譜映射206
10.3.2基於深度殘差BLSTM的骨導語音盲增強方法207
10.3.3實驗仿真及性能分析211
10.4基於均衡-生成組合譜映射的骨導語音盲增強215
10.4.1均衡法215
10.4.2基於均衡-生成組合譜映射的骨導語音盲增強方法216
10.4.3實驗仿真及性能分析218
10.5小結222
參考文獻223
第11章智能語音處理展望224
11.1智能語音處理的未來224
11.2有待解決的關鍵技術225
11.2.1語音識別226
11.2 .2語音合成228
11.2.3語音增強229
11.2.4語音處理中的安全問題230
11.3小結230
參考文獻230
縮略語232