Transformers Recipe
1.0.0
變形金剛加速了自然語言處理（NLP）任務的新技術和模型的開發。儘管它主要用於NLP任務，但現在在其他領域（例如計算機視覺和增強學習）中看到了大量採用。這使其成為理解和能夠應用的最重要的現代概念之一。
我知道許多機器學習，NLP學生和從業人員都熱衷於學習變壓器。因此，我已經準備了一份資源和研究材料列表形式的學習指南，以幫助指導學生有興趣學習變形金剛世界的學生。
首先，我已經準備了一些材料的鏈接，這些鏈接我用來更好地理解和實現從頭開始理解和實現變形金剛的模型。
首先，嘗試獲取有關變壓器的高級介紹。一些值得一看的參考文獻：
變壓器簡介 - 講義（Elvis Saravia）
從頭開始的變壓器（布蘭登·羅勒）
變形金剛在深度學習和NLP中的工作方式：直觀的介紹（AI夏季）
Stanford CS25-變形金剛聯合
深入學習語言理解（DeepMind）
變壓器模型：簡介和目錄（Xavier amatriain）
傑伊·阿拉馬（Jay Alammar）的插圖解釋是例外。一旦獲得了對變形金剛的高級了解，您就可以進入這種流行的詳細和插圖的變壓器解釋：
插圖的變壓器
下一篇文章還將變形金剛分解為其組成部分，詳細說明和說明了每個部分的作用：
分解變壓器
在這一點上，您可能正在尋找變形金剛的技術摘要和概述。莉蓮·旺（Lilian Weng）的博客文章是一顆寶石，並提供簡潔的技術解釋/摘要：
變壓器家族
變壓器家庭2.0版
在理論之後，測試知識很重要。我通常更喜歡更詳細地了解事物，因此我更喜歡從頭開始實現算法。對於實施變壓器，我主要依靠本教程：
帶註釋的變壓器| （Google colab | github）
使用nn.transformer和torchtext進行語言建模
如果您正在尋找一些最新的變壓器上的深入實現，則可能還會找到具有有用的代碼方法收集的論文。
Vaswani等人的本文。介紹了變壓器體系結構。在您有高級理解並希望了解細節之後，請閱讀它。請注意本文中的其他參考文獻，以深入研究。
注意就是您所需要的
經過一段時間的研究和理解變壓器背後的理論，您可能有興趣將它們應用於不同的NLP項目或研究。目前，您最好的選擇是HuggingFace的Transformers庫。
變壓器
擁抱面孔團隊還與Transformers一起出版了一本關於NLP的新書，因此您可能需要在此處檢查一下。
作為獎勵，這是Sebastian Raschka在LLM上的出色閱讀清單。
了解大型語言模型 - 變革性閱讀清單
隨意建議學習材料。在下一個更新中，我希望添加更全面的變壓器應用程序和論文集合。此外，還將實現易於實驗的代碼實現。敬請關注！
要定期獲取有關新ML和NLP資源的更新，請在Twitter上關注我。
