transformers tutorials

Tutoriels de transformateurs Pytorch

Introduction

Le domaine de la PNL a été révolutionné en 2018 par introduction de Bert et de ses amis transformateurs (Roberta, XLM etc.).

Ces nouveaux architectures de réseau neuronal basées sur les transformateurs et de nouvelles façons de former un réseau neuronal sur les données sur le langage naturel ont introduit l'apprentissage du transfert aux problèmes de PNL. L'apprentissage du transfert a donné des résultats de pointe dans le domaine de la vision par ordinateur depuis quelques années maintenant et l'introduction de modèles de transformateurs pour la PNL a provoqué le même changement de paradigme dans la PNL.

Des entreprises comme Google et Facebook ont ​​formé leurs réseaux de neurones sur de grandes étendues de données sur le langage naturel pour saisir les subtilités du langage générant ainsi un modèle de langue. Enfin, ces modèles ont été bien réglés sur un ensemble de données de domaine spécifique pour obtenir des résultats de pointe pour une instruction de problème spécifique. Ils ont également publié ces modèles formés à la communauté open source. Les membres de la communauté étaient désormais en mesure d'affiner ces modèles sur leurs cas d'utilisation spécifiques.

Le visage étreint a permis à la communauté d'accéder et de régler ces modèles en utilisant leur package Python: Transformers.

Motivation

Malgré ces progrès technologiques incroyables, l'application de ces solutions aux problèmes commerciaux est toujours un défi étant donné les connaissances de niche requises pour comprendre et appliquer ces méthodes sur des déclarations de problèmes spécifiques. Par conséquent, dans les tutoriels suivants, je vais montrer comment un utilisateur peut exploiter les technologies ainsi que d'autres outils Python pour affiner ces modèles de langue à des tâches spécifiques.

Avant de continuer, je voudrais mentionner les groupes suivants pour le travail fantastique qu'ils font et le partage qui ont rendu ces cahiers et tutoriels possibles:

Veuillez consulter ces sources incroyables d'informations et vous abonner à leurs canaux / sources.

• Équipe d'étreinte Face
• Abhishek Thakur pour ses incroyables vidéos YouTube

Les déclarations de problème avec lesquelles je travaillerai sont:

Carnet de notes	Lien github	Lien colab	Noyau de kaggle
Classification du texte: multi-classes	Github		Se gêner
Classification du texte: multi-étiquettes	Github		Se gêner
Classification des sentiments avec suivi des expériences dans WANDB!	Github
Reconnaissance de l'entité nommée: avec traitement TPU!	Github		Se gêner
Question Répondre
Écriture de résumé: avec suivi des expériences dans Wandb!	Github		Se gêner

Structure de répertoire

1. data : Ce dossier contient toutes les données des jouets utilisées pour le réglage fin.
2. utils : Ce dossier contiendra tout script divers utilisé pour préparer le réglage fin.
3. models : Dossier pour enregistrer tous les artefacts après un réglage fin.

Regarder / lire plus loin

J'essaierai de couvrir les aspects pratiques et de mise en œuvre du réglage fin de ces modèles de langue sur diverses tâches NLP. Vous pouvez améliorer vos connaissances sur ce sujet en lisant / en regardant les ressources suivantes.

• Regardant

  • Introduction en termes simples
  • Transfert d'apprentissage dans la PNL
  • Bert Research Series de Chrismcormickai

• En lisant

  • Documentation des transformateurs
  • Documentation Pytorch
  • Blog Google AI