Stable Diffusion AI繪畫實戰（微課版）

王峰，江南大學教授、博導，教育部“新世紀優秀人才”；江蘇省“333”高層次第二層次人才；國際信息處理聯合會（IFIP）娛樂與計算技術委員會（WG14.7）工作組委員；中國美術家協會公共藝術藝委會副主任；全國城雕委藝術委員會委員；無錫市民間文藝家協會主席。國家社科基金藝術學重大項目《中國城市形象設計研究》首席專家；成果獲全國美展銅獎、江蘇省哲學社會科學優秀成果獎一等獎。

 

項目1　Stable Diffusion快速入門 1

1.1　AIGC 與Stable Diffusion 2

1.1.1　AIGC 技術演進 2

1.1.2　Stable Diffusion 讓AI 繪畫走進每個人的計算機 3

1.1.3　Stable Diffusion 版本 5

1.1.4　Stable Diffusion 操作工具 6

1.2　安裝Stable Diffusion WebUI 8

1.2.1　SD WebUI 配置要求 8

1.2.2　SD WebUI 的安裝方式 9

【課堂演練1】使用整合包安裝SD WebUI 9

1.3　開始使用SD WebUI 12

1.3.1　為什麼要使用SD WebUI 13

1.3.2　SD WebUI 布局 13

【課堂演練2】生成第 一個圖像 14

【拓展演練】使用LiblibAI 在線生成圖像 16

1.4　熟悉AI 繪世啟動器 20

1.4.1　AI 繪世啟動器的主要特性 21

1.4.2　AI 繪世啟動器界面 21

1.5　課後實踐 22

 

項目2 Stable Diffusion文生圖 23

2.1　設置文生圖基本參數 24

2.1.1　設置采樣參數 24

【課堂演練1】針對不同場景設置采樣參數 26

2.1.2　設置提示詞引導系數 29

【課堂演練2】驗證提示詞引導系數對圖像生成的影響 30

2.1.3　設置圖像尺寸 31

2.1.4　設置圖像生成批次 32

【課堂演練3】一次生成多個圖像 33

2.2　通過隨機數種子控制圖像生成結果 34

2.2.1　什麼是隨機數種子 34

2.2.2　通過固定種子控制生成過程的隨機性 34

【課堂演練4】通過固定種子復制並微調圖像 35

【拓展演練1】批量生成風格統一的套圖 35

2.2.3　使用變異隨機種子生成可控變體 36

【AI 實戰1】實現建築風格漸變 36

2.3　使用X/Y/Z 圖表測試生成結果 38

2.3.1　了解X/Y/Z 圖表 38

2.3.2　使用X/Y/Z 圖表的方法 38

【課堂演練5】使用X/Y/Z 圖表進行二維測試 40

【拓展演練2】使用X/Y/Z 圖表進行三維測試 41

2.4　生成高質量圖像 43

2.4.1　使用高分辨率修復功能進行高清精繪 43

【課堂演練6】高清精繪寫實人像 44

【AI 實戰2】固定種子結合高分辨率修復 45

2.4.2　使用Refiner 進行全局修圖 47

【課堂演練7】使用Refiner 提升產品展示效果 48

2.4.3　使用ADetailer 進行局部修復 49

【AI 實戰3】使用ADetailer 擴展修復面部和手部 50

2.5　課後實踐 52

 

項目3 Stable Diffusion 的提示詞 54

3.1　掌握提示詞的基本用法 55

3.1.1　進一步了解提示詞 55

3.1.2　提示詞編寫規範 55

【課堂演練1】熟悉SD WebUI 提示詞管理主界面及其用法 56

3.1.3　提示詞結構 60

3.1.4　反向提示詞的使用 60

【課堂演練2】使用反向提示詞提升生成質量 61

3.2　活學活用提示詞的語法 62

3.2.1　調整提示詞權重 62

【課堂演練3】調整畫面元素比重：攝影特寫 63

【拓展演練1】調整畫面元素和風格比重：油畫風格攝影 64

3.2.2　提示詞融合 65

【課堂演練4】生成混色頭發 66

【AI 實戰】創作印象派風景畫 67

3.2.3　提示詞打斷 68

【拓展演練2】繪制絲綢旗袍與金屬配飾 69

3.3　提示詞進階 70

3.3.1　使用提示詞矩陣篩選提示詞 70

【課堂演練5】測試未來都市中光影和環境聯動的提示詞 70

3.3.2　以圖生文——反推提示詞 71

【課堂演練6】使用DeepBooru 反推提示詞 72

【課堂演練7】使用WD 1.4 標簽器反推提示詞 73

3.3.3　使用預設樣式 74

【拓展演練3】使用預設樣式快速生圖 74

3.4　課後實踐 76

 

項目4 Stable Diffusion模型 77

4.1　進一步了解Stable Diffusion的模型 78

4.1.1　模型體系 78

4.1.2　模型的下載和安裝 78

4.2　使用Checkpoint 模型 79

4.2.1　Checkpoint 模型文件格式與命名 79

4.2.2　Checkpoint 模型的分類 80

4.2.3　Checkpoint 模型的使用方法 82

【課堂演練1】管理大量的Checkpoint 模型 82

【課堂演練2】生成2.5D 風格的圖像 85

【課堂演練3】基於國風模型生成古風人物肖像 86

【拓展演練1】使用SDXL 加速版快速生成高清圖像 87

4.3　使用外掛VAE 模型 90

4.3.1　為什麼選擇外掛VAE 模型 90

4.3.2　如何選擇外掛VAE 模型 90

4.3.3　外掛VAE 模型的用法 91

【課堂演練4】使用外掛VAE 模型修復圖像 91

4.4　使用LoRA 模型 93

4.4.1　了解LoRA 模型 93

4.4.2　使用LoRA 模型的方法 93

【課堂演練5】使用LoRA 模型創作盲盒風格作品 95

【AI 實戰1】組合使用LoRA 模型繪制水墨國畫 96

【拓展演練2】使用SDXL 架構的LoRA模型制作國風山水畫 97

4.5　使用Embedding 模型 99

4.5.1　了解Embedding 模型 99

4.5.2　使用Embedding 模型的方法 99

【AI 實戰2】使用Embedding 模型修復和微調圖像 100

4.6　課後實踐 102

 

項目5 Stable Diffusion圖生圖 103

5.1　圖生圖基本操作 104

5.1.1　了解Stable Diffusion 圖生圖 104

【課堂演練1】將寫實人像轉換為二次元風格 106

5.1.2　設置重繪尺寸與縮放模式 107

5.1.3　設置重繪幅度 109

【課堂演練2】設置重繪幅度控制圖像變化程度 109

【拓展演練1】圖生圖的多次疊代 110

5.2　局部重繪 112

5.2.1　什麼是局部重繪 112

【課堂演練3】使用局部重繪功能為人物換臉 112

5.2.2　設置蒙版參數 114

5.2.3　使用柔和重繪 116

【AI 實戰1】使用柔和重繪功能更換材質 117

5.3　圖生圖高級操作 118

5.3.1　塗鴉重繪 118

【課堂演練4】使用塗鴉重繪功能更換頭發和衣服 119

5.3.2　上傳重繪蒙版 121

【課堂演練5】使用RemoveBackground 擴展

制作重繪蒙版 121

【課堂演練6】使用上傳重繪蒙版功能更換產品背景 123

【拓展演練2】使用上傳重繪蒙版功能精準去除畫面元素 125

5.3.3　批量處理 126

【AI 實戰2】使用批量處理功能進行模特換裝 127

5.4　課後實踐 129

 

項目6 Stable Diffusion進階 130

6.1　使用ControlNet 精準控圖 131

6.1.1　ControlNet 擴展的控制模型和預處理器 131

6.1.2　ControlNet 使用流程 132

【課堂演練1】使用ControlNet 基於線稿生成插畫 132

6.1.3　配置ControlNet 單元和參數 134

6.1.4　了解ControlNet 控制類型 136

【課堂演練2】使用InstructP2P 實現一詞轉換場景 137

【課堂演練3】使用OpenPose 控制人物姿態 138

【拓展演練1】通過修改骨骼姿勢圖改變人物姿態 140

【AI 實戰1】結合OpenPose 改進模特換裝 141

【課堂演練4】使用Canny 生成二次元角色 142

【課堂演練5】使用Segmentation改變畫風 144

【拓展演練2】使用Segmentation替換畫面元素 145

6.1.5　ControlNet 組合 146

【課堂演練6】雙ControlNet 組合協同控圖 147

6.1.6　使用SDXL 架構的ControlNet模型 149

【課堂演練7】使用一體化模型ControlNet Union 150

6.2　圖像放大 152

6.2.1　使用放大腳本放大圖像 152

【課堂演練8】使用SD upscale腳本放大圖像 153

【課堂演練9】使用Ultimate SDupscale 腳本放大圖像 153

6.2.2　使用ControlNet 的Tile 確保圖像放大質量 155

【AI 實戰2】聯合使用放大腳本和ControlNet Tile 實現

“低清重生” 155

6.2.3　後期處理的圖像放大功能 157

【課堂演練10】使用後期處理的圖像放大功能 157

6.2.4　基於Tiled Diffusion 擴展的圖像放大 158

【課堂演練11】基於Tiled Diffusion放大生成4K高清圖像 158

6.3　後期優化與圖像管理 160

6.3.1　後期處理 160

6.3.2　獲取PNG 信息 161

6.3.3　無邊圖像瀏覽 162

【課堂演練12】使用無邊圖像瀏覽功能管理圖像 162

6.4　課後實踐 165

 

項目7 Stable Diffusion案例實戰 167

7.1　照片處理 168

【AI 實戰1】老照片修復與上色 168

【AI 實戰2】藝術照生成：個性化寫真 170

【AI 實戰3】面部替換與編輯：AI 換臉 172

7.2　藝術字與Logo 設計 175

【AI 實戰4】為書法作品增加特效 175

【AI 實戰5】設計Logo 177

7.3　海報與插畫設計 179

【AI 實戰6】設計寵物嘉年華海報 180

【AI 實戰7】制作兒童繪本插畫 181

7.4　電商設計 182

【AI 實戰8】更換電商產品場景 182

【AI 實戰9】使用AI 模特展示電商服裝 184

7.5　建築與室內設計 187

【AI 實戰10】都市設計：從設計線稿到概念圖 187

【AI 實戰11】室內設計：從毛坯房照片到精裝效果圖 189

7.6　課後實踐 191