NLG 的王者 GPT 圖解 - LLM 的原來是這樣建構出來的
黃佳 著
- 出版商: 深智
- 出版日期: 2024-06-19
- 定價: $780
- 售價: 7.9 折 $616
- 語言: 繁體中文
- 頁數: 320
- ISBN: 6267383733
- ISBN-13: 9786267383735
-
相關分類:
Large language model
- 此書翻譯自: GPT 圖解 : 大模型是怎樣構建的
立即出貨 (庫存 < 9)
買這商品的人也買了...
-
Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略, 2/e$780$616 -
AI 提示工程師的 16堂關鍵必修課：精準提問 x 優化提示 x 有效查詢 x 文字生成 x AI繪圖$620$484 -
Hugging Face 模型及資料大公開 - 利用 BERT 建立全中文 NLP 應用$720$569 -
$505LangChain 入門指南：構建高可復用、可擴展的 LLM 應用程序 -
跟 NVIDIA 學深度學習！從基本神經網路到 ......、GPT、BERT...，紮穩機器視覺與大型語言模型 (LLM) 的建模基礎$880$748 -
無料 AI：ChatGPT + Bard + Claude + Bing + Copilot + PlaygroundAI + Ideogram + Suno + D-ID + Runway + Gamma -「文字、繪圖、視覺、音樂、影片、簡報」創意無限$620$490 -
AI 生成時代的工作革命：洞悉開始自主學習的 AI 將引爆的連續變革，在企業壽命縮短的大趨勢下提早掌握延長個人職涯的邏輯、能力與策略$400$340 -
GPT5 新時代 - 多模態深度學習精實操練$680$537 -
新範式來臨 - 用 PyTorch 了解 LLM 開發微調 ChatGLM 全過程$980$774 -
AI 神助攻！程式設計新境界 – GitHub Copilot 開發 Python 如虎添翼 : 提示工程、問題分解、測試案例、除錯$560$442 -
AI 工具使用手冊：學會 AI 魔法讓你變身超人不再當麻瓜$690$545 -
新世代 AI 範式 - 多模態+大模型實作精解$800$632 -
LangChain 開發手冊 -- OpenAI × LCEL 表達式 × Agent 自動化流程 × RAG 擴展模型知識 × 圖形資料庫 × LangSmith 除錯工具$680$537 -
$458大模型應用開發 : 動手做 AI Agent -
AI 全面啟動：人工智慧的過去現在和展望的未來$500$390 -
OpenAI API 基礎必修課 -- 使用 Python (GPT-3.5、GPT-4、GPT-4o、DALL·E、TTS、Whisper模型)$520$411 -
開放授權實戰 - OAuth2 最新應用場景開發$720$569 -
LLM 走進你的電腦 - 自己動手開發大型語言模型應用$880$695 -
駭客廝殺不講武德 : CTF 強者攻防大戰直擊, 2/e$1,000$790 -
生成式 AI：以 ChatGPT 與 OpenAI 模型實現高效創新 (Modern Generative AI with ChatGPT and OpenAI Models)$500$395 -
$374快速部署大模型：LLM 策略與實踐 (基於 ChatGPT 等大語言模型) -
台灣之光物件辨識 - 最新 YOLO 原理精讀+實戰$800$632 -
LLM 大型語言模型的絕世祕笈：27路獨步劍法，帶你闖蕩生成式 AI 的五湖四海 （iThome鐵人賽系列書）$650$507 -
自己開發 ChatGPT - LLM 從頭開始動手實作$720$569 -
LangChain 奇幻旅程：OpenAI x Gemini x 多模態應用開發指南$680$530
相關主題
商品描述
★NLP始祖N-Gram，Bag-of-Words詳細說明介紹實作
☆進入神經網路時代的Word2Vec、NPLM、RNN詳解及實作
★序列至序列的神器Seq2Seq詳解及實作
☆抓住字與字之間的關鍵Attention Mechanism詳解及實作
★成為大神的Transformer詳解及實作
☆第一個通用語言模型BERT詳解及實作
★生成式語言模型GPT詳解及實作
☆ChatGPT應用詳解及實作
★最新一代GPT-4詳解及實作
全書從最基本的N-Gram 和簡單文字表示Bag-of-Words開始說明NLP的應用，接著進入NLP領域中最重要的隱空間表示法Word2Vec，正式進入了多維向量Embedding表示語義的年代。之後接連介紹了神經網路表示法RNN，以及將encoder及decoder連接的Seq2seq。本書最大的特色就是花了很大的篇幅介紹了注意力機制，詳解了大家最想不通的QKV查詢。在了解了注意力機制之後，就進入最重要的成神Transformer階段，並且帶有說明及完整的實作。最重要的Transformer解決之後，接下來就是強大應用的展現，包括了NLU的BERT說明及實作，以及現今AI基本GPT(屬於NLG)的自迴歸模型。本書也實作了自己使用維基文字生成的GPT模型，讓讀者一探AI一路走來的技術堆疊。最後一章更把目前當紅的ChatGPT所使用的RHLF技術完整走一遍，也使用了OpenAI的API來完成實作。
作者簡介
黃佳
筆名咖哥，新加坡科技研究局人工智慧研究員。主攻方向為NLP大模型的研發與應用、持續學習、AI in FinTech。黃佳深耕人工智慧領域多年，積累了豐富的科研專案和政府、銀行、能源、醫療等領域AI項目落地實戰經驗，目前正與PlatoX.AI展開富有前景的技術合作。曾著有《零基礎學機器學習》、《數據分析咖哥十話》等多部熱銷書。同時，在極客時間開設專欄《零基礎實戰機器學習》、《LangChain實戰課》，在深藍學院開設影片課程「生成式預訓練語言模型：理論與實戰」。
目錄大綱
序章 看似尋常最崎崛，成如容易卻艱辛
GPT-4：點亮通用人工智慧的火花
人工智慧演進之路：神經網路兩落三起
現代自然語言處理：從規則到統計
何為語言？資訊又如何傳播？
NLP 是人類和電腦溝通的橋樑
NLP 技術的演進史
大規模預訓練語言模型：BERT 與GPT 爭鋒
語言模型的誕生和進化
統計語言模型的發展歷程
基於Transformer 架構的預訓練模型
" 預訓練+ 微調大模型" 的模式
以提示/ 指令模式直接使用大模型
從初代GPT 到ChatGPT，再到GPT-4
GPT 作為生成式模型的天然優勢
ChatGPT 背後的推手——OpenAI
從初代GPT 到ChatGPT，再到GPT-4 的進化史
第 1 課 高樓萬丈平地起：語言模型的雛形 N-Gram 和簡單文字表示 Bag-of-Words
1.1 N-Gram 模型
1.2 " 詞" 是什麼，如何" 分詞"
1.3 建立一個Bigram 字元預測模型
1.4 詞袋模型
1.5 用詞袋模型計算文字相似度
小結
思考
第 2 課 問君文字何所似：詞的向量表示 Word2Vec 和 Embedding
2.1 詞向量 ≈ 詞嵌入
2.2 Word2Vec：CBOW 模型和Skip-Gram 模型
2.3 Skip-Gram 模型的程式實現
2.4 CBOW 模型的程式實現
2.5 透過nn.Embedding 來實現詞嵌入
小結
思考
第 3 課 山重水盡疑無路：神經機率語言模型和循環神經網路
3.1 NPLM 的起源
3.2 NPLM 的實現
3.3 循環神經網路的結構
3.4 循環神經網路實戰
小結
思考
第 4 課 柳暗花明又一村：Seq2Seq 編碼器 - 解碼器架構
4.1 Seq2Seq 架構
4.2 建構簡單Seq2Seq 架構
小結
第 5 課 見微知著開慧眼：引入注意力機制
5.1 點積注意力
5.2 縮放點積注意力
5.3 編碼器- 解碼器注意力
5.4 注意力機制中的 Q、K、V
5.5 自注意力
5.6 多頭自注意力
5.7 注意力遮罩
5.8 其他類型的注意力
小結
思考
第 6 課 層巒疊翠上青天：架設 GPT 核心元件 Transformer
6.1 Transformer 架構剖析
6.1.1 編碼器- 解碼器架構
6.1.2 各種注意力的應用
6.1.3 編碼器的輸入和位置編碼
6.1.4 編碼器的內部結構
6.1.5 編碼器的輸出和編碼器- 解碼器的連接
6.1.6 解碼器的輸入和位置編碼
6.1.7 解碼器的內部結構
6.1.8 解碼器的輸出和Transformer 的輸出頭
6.2 Transformer 程式實現
6.3 完成翻譯任務
6.3.1 資料準備
6.3.2 訓練Transformer 模型
6.3.3 測試Transformer 模型
小結
思考
第 7 課 芳林新葉催陳葉：訓練出你的簡版生成式 GPT
7.1 BERT 與GPT 爭鋒
7.2 GPT：生成式自回歸模型
7.3 建構GPT 模型並完成文字生成任務
7.3.1 架設GPT 模型（解碼器）
7.3.2 建構文字生成任務的資料集
7.3.3 訓練過程中的自回歸
7.3.4 文字生成中的自回歸（貪婪搜索）
7.4 使用WikiText2 資料集訓練Wiki-GPT 模型
7.4.1 用WikiText2 建構Dataset 和DataLoader
7.4.2 用DataLoader 提供的資料進行訓練
7.4.3 用Evaluation Dataset 評估訓練過程
小結
思考
第 8 課 流水後波推前波：ChatGPT 基於人類回饋的強化學習
8.1 從GPT 到ChatGPT
8.2 在Wiki-GPT 基礎上訓練自己的簡版ChatGPT
8.3 用Hugging Face 預訓練GPT 微調ChatGPT
8.4 ChatGPT 的RLHF 實戰
8.4.1 強化學習基礎知識
8.4.2 簡單RLHF 實戰
小結
思考
第 9 課 生生不息的循環：使用強大的 GPT-4 API
9.1 強大的OpenAI API
9.2 使用GPT-4 API
小結
思考
後記 莫等閒，白了少年頭
