精通 Transformer : 從零開始構建最先進的 NLP 模型

AI領域的基石王者,那些還沉迷於CNN，RNN的工程師被警告：放棄戰鬥吧，向Transformer投降！

在過去的二十年中，自然語言處理研究領域發生了翻天覆地的變化。
在這段時間裡，自然語言處理經歷了不同的處理範式，並最終進入了一個由神奇的Transformer體系結構主導的新時代。
Transformer深度學習架構是通過繼承許多方法而產生的，
其中包括上下文詞嵌入、多頭注意力機制、位置編碼、並行體系結構、模型壓縮、遷移學習、跨語言模型等。
在各種基於神經的自然語言處理方法中， Transformer架構逐漸演變為基於注意力的“編碼器-解碼器”體系結構，並持續發展到今天。
現在，我們在文獻中看到了這種體系結構的新的成功變體。
目前研究已經發現了只使用Transformer 架構中編碼器部分的出色模型，
如BERT(Bidirectional Encoder Representations from Transformers,Transformers雙向編碼表示);
或者只使用Transformer架構中解碼器部分的出色模型，
如GPT(Generated Pre -trained Transformer,生成式的預訓練Transformer)。

本書涵蓋了這些自然語言處理方法。
基於Hugging Face社區的Transformer庫，我們能夠輕鬆地使用Transformer。
本書將循序漸進地提供各種自然語言處理問題的解決方案：從文檔摘要到問題回答系統。
我們將看到，基於Transformer, 可以取得最先進的成果。

Savas Yldmnm
畢業於伊斯坦布爾技術大學計算機工程系，擁有自然 語言處理 (Natural Language Processing,NLP)專業的博士學位。
目前，他是土耳其伊斯坦布爾 比爾基大學的副教授，也是加拿大瑞爾森大學的訪問研究員。
他是一位積極熱情的講師和研究員， 具有20多年教授機器學習、深度學習和自然語言處理等課程的豐富經驗。
他開發了大量的開源軟件 和資源，為土耳其自然語言理解社區做出了重大貢獻。
他還為人工智能公司的研究開發項目提供全 面的諮詢服務。