dliss tutorial
1.0.0
Tutoriel pour International Summer School on Deep Learning, 2019 à Gdansk, Pologne
https://docs.google.com/presentation/d/1dji1yx4u5igapgwavt0amoclwso7ou1un93smuawma/
Il y a actuellement 3 sections pratiques dans ce tutoriel.
La première section couvre les incorporations de mot pré-formées (Colab)
La deuxième section couvre les Emeddings contextuels pré-formés (Colab)
La troisième section couvre le réglage fin d'un modèle pré-formé (Colab)
Avril 2022 Si vous souhaitez apprendre à construire différentes architectures de transformateurs à partir de zéro, j'ai un nouvel ensemble de tutoriels avec des détails approfondis et des implémentations complètes de plusieurs modèles de transformateurs populaires. Ils montrent comment construire des modèles étape par étape, comment les pré-séjourner et comment les utiliser pour des tâches en aval. Il y a un package Python qui l'accompagne contient toutes les pièces de tutoriel réunies
Juillet 2020 J'ai publié un ensemble de tutoriels Colab utilisant Mead qui est référencé dans ces tutoriels. Ce nouvel ensemble d'ordinateurs portables couvre du matériel similaire, y compris l'apprentissage du transfert pour la classification et les taggeurs, ainsi que la formation de modèles basés sur les transformateurs à partir de zéro à l'aide de l'API Mead avec TPUS. Mead facilite la formation de nombreux modèles puissants pour la PNL en utilisant une configuration YAML simple et facilite la prolongation du code avec de nouveaux modèles tout en comparant à des lignes de base fortes!
