uvadlc_notebooks

UVA深度學習教程

注意：要查看筆記本格式，請訪問我們的RTD網站：https：//uvadlc-notebooks.readthedocs.io/en/latest/

課程網站：https：//uvadlc.github.io/
課程版：2024年秋季（10月28日至12月20日） - 保持最新
錄音：YouTube播放列表
作者：Phillip Lippe

在今年的課程版中，我們創建了一系列jupyter筆記本電腦，旨在通過查看相應的實現來幫助您從講座中理解“理論”。我們將訪問各種主題，例如優化技術，變壓器，圖形神經網絡等（有關完整列表，請參見下文）。筆記本可以幫助您理解材料，並教您Pytorch框架的詳細信息，包括Pytorch Lightning 。此外，我們將筆記本的一對一翻譯作為替代框架。

筆記本在每個小組教程會議的第一小時內介紹。在教程會議期間，我們將介紹內容並解釋筆記本的實現。您可以決定自己只是想查看填充的筆記本，想自己嘗試還是在實踐會議期間進行代碼。筆記本並不是您將在其上進行分級或類似分級的任何強制性作業的一部分。但是，我們鼓勵您熟悉筆記本和實驗或自己擴展。此外，提出的內容將與分級任務和考試有關。

這些教程已被整合為Pytorch Lightning的官方教程。因此，您也可以在他們的文檔中查看它們。

如何運行筆記本

在此網站上，您會發現將筆記本電腦導出為HTML格式，以便您可以從任何您喜歡的設備中閱讀它們。但是，我們建議您也嘗試一下自己。我們建議運行筆記本的三種主要方法：

• 在CPU上本地：所有筆記本電腦都存儲在GitHub存儲庫中，該存儲庫也構建了該網站。您可以在這裡找到它們：https：//github.com/phlippe/uvadlc_notebooks/tree/master/master/docs/tutorial_notebooks。這些筆記本的設計是為了使您可以在普通筆記本電腦上執行它們，而無需GPU。我們提供了經過驗證的模型，這些模型會在運行筆記本時自動下載，或者可以從該Google驅動器中手動下載。預告片和數據集的所需磁盤空間小於1GB。為了確保您安裝了所有正確的Python軟件包，我們在同一存儲庫中提供CONDA環境（根據您的系統選擇CPU或GPU版本）。

• Google Colab ：如果您希望在與您自己的計算機不同的平台上運行筆記本電腦，或者想嘗試GPU支持，我們建議使用Google Colab。此文檔網站上的每個筆記本都有一個徽章，並具有在Google Colab上打開它的鏈接。請記住在運行筆記本之前啟用GPU支持（ Runtime -> Change runtime type ）。每個筆記本都可以獨立執行，並且不需要您連接Google驅動器或類似。但是，關閉會話時，如果您不將其保存到本地計算機或已將筆記本複製到Google Drive中，則可能會丟失更改。

• Snellius群集：如果您想根據筆記本訓練自己的（較大）神經網絡，則可以使用Snellius群集。但是，只有在您真的想培訓新模型並使用其他兩個選項進行討論和分析時，才建議這樣做。 Snellius可能不允許您使用學生帳戶直接在GPU_SHARED分區上運行Jupyter筆記本。取而代之的是，您可以首先使用jupyter nbconvert --to script ...ipynb將筆記本電腦轉換為腳本，然後在Snellius上啟動一項工作以運行腳本。在Snellius上跑步時有一些建議：

  • 禁用筆記本中的TQDM語句。否則，您的slurm輸出文件可能會溢出，並且是幾個MB大。在Pytorch Lightning中，您可以通過在教練中設置progress_bar_refresh_rate=0來做到這一點。
  • 評論Matplotlib繪製語句，或更改：代碼： plt.show()到plt.savefig(...) 。

教程講座對齊

我們將討論該課程中的7個教程，分佈在講座上，以涵蓋各個領域的內容。您可以根據其主題將教程與講座的教程保持一致。教程列表是：

• 指南1：與Snellius群集一起工作
• 教程2：Pytorch簡介
• 教程3：激活功能
• 教程4：優化和初始化
• 教程5：Inception，Resnet和Densenet
• 教程6：變形金剛和多頭關注
• 教程7：圖形神經網絡
• 教程8：深能模型
• 教程9：自動編碼器
• 教程10：對抗攻擊
• 教程11：圖像建模上的流動歸一化
• 教程12：自回歸圖像建模
• 教程15：視覺變壓器
• 教程16：元學習 - 學習學習
• 教程17：Simclr的自我監督對比學習

反饋，問題或貢獻

這是我們在深度學習課程中第一次介紹這些教程。與其他任何項目一樣，預計小錯誤和問題。我們感謝學生的任何反饋，無論是關於拼寫錯誤，實現錯誤還是對筆記本的改進/補充的建議。請使用以下鏈接提交反饋，或者可以通過郵件直接與我聯繫（p dot lippe in Uva dot nl），或在任何TA會話中抓住我。

如果您發現教程有幫助並且想引用它們，則可以使用以下Bibtex：

 @misc { lippe2024uvadlc ,
   title        = { {UvA Deep Learning Tutorials} } ,
   author       = { Phillip Lippe } ,
   year         = 2024 ,
   howpublished = { url{https://uvadlc-notebooks.readthedocs.io/en/latest/} }
}