Début avec le traitement du langage naturel basé sur les transformateurs (NLP)
Traitement du langage naturel avec transformateurs. Les objets que ce projet est:
- Débutants PNL, débutants transformateurs
- Avoir une certaine programmation de base de Python et Pytorch
- Intéressé par les modèles de transformateurs de pointe
- Comprendre et connaître des modèles d'apprentissage en profondeur simples
La vision de ce projet est:
Nous espérons combiner des explications vives des principes et de multiples projets pratiques pratiques pour aider les débutants à démarrer rapidement avec la PNL à l'ère du Deep Learning.
Les principaux documents de référence pour ce projet sont:
- Bibliothèque de code HUGGINGFACE / Transformers
- De nombreux excellents transformateurs expliquent et partagent
Membres du projet:
- Erenup (Duoduo Notes), Université de Pékin, personne en charge
- Fan Zhang, Datawhale, Université de Tianjin, chapitre 4
- Zhang Xian, Harbin Institute of Technology, chapitre 2
- Li Liqiu, Université de Zhejiang, chapitre 3
- Cai Jie, Université de Pékin, chapitre 4
- Hlzhang, Université McGill, chapitre 4
- Taiwan Yunpeng Chapitre 2
- Chapitre 2 de Zhang Hongxu
Ce projet a résumé et étudié de nombreux excellents documents et partage, et a marqué des sources dans chaque chapitre. S'il y a une contrefaçon, veuillez contacter les membres du projet à temps. Merci. Allez à Github et cliquez sur Star et en savoir plus avec la moitié de l'effort? Merci.
Contenu du projet
Chapitre 1 - Préface
- 1,0 local de lecture et de code en cours d'exécution Configuration de l'environnement.md
- 1.1 - La montée des transformateurs dans la PNL
Chapitre 2 Principes de transformateur
- 2,1 attention illustrée
- 2.2- Transformateur graphique
- 2.2.1-Pytorch Writing Transformer.MD
- 2.2.2-Pytorch Écriture Transformateur-optional Reading.MD
- 2,3-illustrés Bert
- GPT 2,4 graphiques
- Test de 2,5 chapitres
Chapitre 3 - Écrivez un modèle de transformateur: Bert
- 3,1 comment implémenter un bert
- 3,2 comment appliquer un bert
- Test de 3,3 chapitres
Chapitre 4 - Utilisez les transformateurs pour résoudre les tâches NLP
- 4.0-Foreword
- Classification de 4,1-texte
- Étiquetage de 4,2-séquences
- 4.3-Q et A Q & A Extrait des tâches
- 4.4-Q & A Task-Multiple Choice Questions et réponses
- Modèle de langue des tâches de 4,5 généreuses
- Tâches de 4,6 généries traduction de la machine
- Génération de tâches de 4,7 génériques
- Test de 4,8 chapitres
