dliss tutorial

dliss-tutorial

國際深度學習教程，2019年在波蘭的格丹克

部分

概述談話

https://docs.google.com/presentation/d/1dji1yx4u5igapgwavt0amoclwwso7ou1un93smuawma/

教程

本教程目前有3個動手分段。

• 第一部分涵蓋了預訓練的單詞嵌入（COLAB）

• 第二部分涵蓋了預先訓練的上下文公開（COLAB）

• 第三部分涵蓋了預先訓練模型（COLAB）的微調

更新

• 2022年4月，如果您有興趣學習如何從頭開始構建不同的變壓器架構，那麼我將有一套新的教程，並具有深入的詳細信息以及幾種流行變壓器模型的完整實現。他們展示瞭如何逐步構建模型，如何預處理它們以及如何將其用於下游任務。有一個隨附的python套件，其中包含所有的教程

• 2020年7月，我使用米德（Mead）發布了一套COLAB教程，這些教程在這些教程中介紹。這套新的筆記本電腦涵蓋了類似的材料，包括用於分類和標記器的轉移學習，以及使用帶有TPU的Mead API從頭開始訓練基於變壓器的模型。 Mead使使用簡單的YAML配置可以輕鬆訓練許多強大的NLP模型，並可以輕鬆地使用新型號擴展代碼，同時與強大的基線進行比較！