Tutorial für die internationale Sommerschule für Deep Learning, 2019 in Dansk, Polen
https://docs.google.com/presentation/d/1dji1yx4u5igapgwavt0amoclwwSo7ou1un93smuawma/
Derzeit gibt es 3 praktische Abschnitte zu diesem Tutorial.
Der erste Abschnitt deckt vorgeborene Wort-Einbettungen (Colab) ab.
Der zweite Abschnitt deckt vorgeschriebene kontextbezogene Emeddings (Colab) ab.
Der dritte Abschnitt umfasst die Feinabstimmung eines vorgeborenen Modells (Colab)
April 2022 Wenn Sie lernen möchten, wie Sie von Grund auf verschiedene Transformatorarchitekturen aufbauen, habe ich eine neue Reihe von Tutorials mit ausführlichen Details und vollständigen Implementierungen mehrerer beliebter Transformer-Modelle. Sie zeigen, wie Sie Modelle Schritt für Schritt erstellen, wie man sie vornimmt und wie man sie für nachgeschaltete Aufgaben verwendet. Es gibt ein begleitendes Python -Paket, das alle Tutorial -Stücke zusammenstellt
Juli 2020 Ich habe eine Reihe von Colab -Tutorials mit Mead veröffentlicht, auf die in diesen Tutorials verwiesen wird. Diese neue Reihe von Notizbüchern deckt ähnliches Material ab, einschließlich Transferlernen für Klassifizierung und Tagger sowie das Training von Modellen basierender transformatorer Modelle mit der Mead-API mit TPUs. Mead macht es einfach, viele leistungsstarke Modelle für NLP mit einer einfachen YAML -Konfiguration zu trainieren und den Code einfach mit neuen Modellen zu erweitern und gleichzeitig mit starken Baselines zu vergleichen!