大語言模型

文繼榮，中國人民大學信息學院院長、高瓴人工智能學院執行院長，國家特聘專家。長期從事人工智能和大數據領域的研究工作，研究方向包括信息檢索、數據挖掘、機器學習、大模型等。擔任中國人民政治協商會議北京市第十四屆委員會常務委員、中央統戰部黨外知識分子建言獻策專家組成員、第八屆教育部科學技術委員會委員、中國計算機學會常務理事等。曾任微軟亞洲研究院高級研究員和因特網搜索與挖掘組主任。

第一部分 背景與基礎知識
第1章 引言
1.1 語言模型的發展歷程
1.2 大語言模型的能力特點
1.3 大語言模型關鍵技術概覽
1.4 大語言模型對科技發展的影響
1.5 本書的內容組織
第2章 基礎介紹
2.1 大語言模型的構建過程
2.1.1 大規模預訓練
2.1.2 指令微調與人類對齊
2.2 擴展定律
2.2.1 KM擴展定律
2.2.2 Chinchilla擴展定律
2.2.3 關於擴展定律的討論
2.3 湧現能力
2.3.1 代表性的湧現能力
2.3.2 湧現能力與擴展定律的關系
2.4 GPT系列模型的技術演變
2.4.1 早期探索
2.4.2 規模擴展
2.4.3 能力增強
2.4.4 性能躍升
第3章 大語言模型資源
3.1 公開可用的模型檢查點
3.1.1 公開可用的通用大語言模型檢查點
3.1.2 LLaMA變體系列
3.2 常用的預訓練數據集
3.2.1 網頁
3.2.2 書籍與論文
3.2.3 維基百科
3.2.4 代碼
3.2.5 混合型數據集
3.3 常用的微調數據集
3.3.1 指令微調數據集
3.3.2 人類對齊數據集
3.4 代碼庫資源
3.4.1 Hugging Face開源社區
3.4.2 DeepSpeed
3.4.3 Megatron-LM
3.4.4 本書配套資源說明
第二部分 預訓練
第4章 數據準備
4.1 數據來源
4.1.1 通用文本數據
4.1.2 專用文本數據
4.2 數據預處理
4.2.1 質量過濾
4.2.2 敏感內容過濾
4.2.3 數據去重
4.2.4 數據對預訓練效果的影響
4.2.5 數據預處理實踐
4.3 詞元化(分詞)
4.3.1 BPE分詞
4.3.2 WordPiece分詞
……
第三部分 微調與對齊
第四部分 使用與評測
參考文獻