Transformers Recipe
1.0.0
Les transformateurs ont accéléré le développement de nouvelles techniques et modèles pour les tâches de traitement du langage naturel (NLP). Bien qu'il ait principalement été utilisé pour les tâches PNL, il constate désormais une forte adoption dans d'autres domaines tels que la vision par ordinateur et l'apprentissage du renforcement. Cela en fait l'un des concepts modernes les plus importants à comprendre et à s'appliquer.
Je suis conscient que beaucoup d'apprentissage automatique et d'étudiants et de praticiens de la PNL sont désireux d'apprendre les transformateurs. Par conséquent, j'ai préparé un guide d'étude sous la forme d'une liste de ressources et de matériel d'étude pour aider à guider les étudiants intéressés à apprendre le monde des transformateurs.
Pour commencer, j'ai préparé quelques liens vers des matériaux que j'ai utilisés pour mieux comprendre et implémenter des modèles de transformateurs à partir de zéro.
Tout d'abord, essayez d'obtenir une introduction de très haut niveau sur les transformateurs. Quelques références qui méritent d'être examinées:
Introduction à Transformer - Notes de cours (Elvis Saravia)
Transformers à partir de zéro (Brandon Rohrer)
Comment les transformateurs fonctionnent dans Deep Learning et NLP: une introduction intuitive (AI Summer)
Stanford CS25 - Transformers United
Apprentissage en profondeur pour la compréhension des langues (DeepMind)
Modèles de transformateur: une introduction et un catalogue (Xavier Amatriin)
Les explications illustrées de Jay Alammar sont exceptionnelles. Une fois que vous avez obtenu cette compréhension de haut niveau des transformateurs, vous pouvez sauter dans cette explication détaillée et illustrée populaire des transformateurs:
Le transformateur illustré
Cet article suivant décompose également les transformateurs en ses composants, expliquant et illustrant en détail ce que fait chaque partie:
Briser le transformateur
À ce stade, vous recherchez peut-être un résumé technique et un aperçu des transformateurs. Les articles de blog de Lilian Weng sont un joyau et fournissent des explications techniques concises / résumés:
La famille Transformer
La version de la famille Transformer 2.0
Après la théorie, il est important de tester les connaissances. Je préfère généralement comprendre les choses plus en détail, donc je préfère implémenter des algorithmes à partir de zéro. Pour implémenter les transformateurs, je me suis principalement appuyé sur ce tutoriel:
Le transformateur annoté | (Google Colab | Github)
Modélisation du langage avec NN.Transformateur et TorchText
Si vous recherchez des implémentations approfondies sur certains des derniers transformateurs, vous pouvez également trouver les articles avec la collection de méthodes de code pour Transformers utiles.
Cet article de Vaswani et al. a introduit l'architecture du transformateur. Lisez-le après avoir une compréhension de haut niveau et que vous souhaitez entrer dans les détails. Faites attention à d'autres références dans le journal pour plonger en profondeur.
L'attention est tout ce dont vous avez besoin
Après un certain temps à étudier et à comprendre la théorie derrière Transformers, vous pouvez être intéressé à les appliquer à différents projets de PNL ou recherches. Pour le moment, votre meilleur pari est la bibliothèque Transformers en étreignant.
Transformateurs
L'équipe Hugging Face a également publié un nouveau livre sur NLP avec Transformers, vous voudrez peut-être vérifier cela ici.
En prime, voici une excellente liste de lecture sur les LLM par Sebastian Raschka.
Comprendre les grands modèles de langue - une liste de lecture transformatrice
N'hésitez pas à suggérer du matériel d'étude. Dans la prochaine mise à jour, je cherche à ajouter une collection plus complète d'applications et d'articles de transformateurs. De plus, une implémentation de code pour une expérimentation facile arrive également. Restez à l'écoute!
Pour obtenir des mises à jour régulières sur les nouvelles ressources ML et NLP, suivez-moi sur Twitter.
