transformers tutorials
1.0.0
Das Feld von NLP wurde im Jahr 2018 durch Einführung von Bert und seinen Transformer -Freunden (Roberta, XLM usw.) revolutioniert.
Diese neuartigen transformatorbasierten neuronalen Netzwerkarchitekturen und neue Möglichkeiten zur Schulung eines neuronalen Netzwerks über natürliche Sprachdaten führten zu Transferlernen zu NLP -Problemen. Transfer Learning hat seit einigen Jahren hochmoderne Ergebnisse in der Computer Vision Domain veröffentlicht, und die Einführung von Transformatormodellen für NLP führte zu demselben Paradigmenwechsel in der NLP.
Unternehmen wie Google und Facebook haben ihre neuronalen Netzwerke in großen Teilen natürlicher Sprachdaten geschult, um die Feinheiten der Sprache zu erfassen, wodurch ein Sprachmodell generiert wird. Schließlich waren diese Modelle fein auf einen bestimmten Domänendatensatz abgestimmt, um hochmoderne Ergebnisse für eine bestimmte Problemanweisung zu erzielen. Sie veröffentlichten diese geschulten Modelle auch für Open Source Community. Die Community -Mitglieder konnten diese Modelle nun auf ihre spezifischen Anwendungsfälle einstellen.
Das Umarmungsgesicht machte es der Community einfacher, diese Modelle mit ihrem Python -Paket zuzugreifen und zu bestrafen: Transformers.
Trotz dieser erstaunlichen technologischen Fortschritte, die diese Lösungen für Geschäftsprobleme anwenden, ist es nach wie vor eine Herausforderung angesichts des Nischenwissens, das erforderlich ist, um diese Methode auf bestimmte Problemaussagen zu verstehen und anzuwenden. In den folgenden Tutorials werde ich daher zeigen, wie ein Benutzer Technologien zusammen mit einigen anderen Python -Tools nutzen kann, um diese Sprachmodelle auf bestimmte Art von Aufgaben zu fassen.
Bevor ich fortfahre, möchte ich die folgenden Gruppen für die fantastische Arbeit erwähnen, die sie leisten, und teilen, die diese Notizbücher und Tutorials ermöglicht haben:
Bitte überprüfen Sie diese erstaunlichen Informationsquellen und abonnieren Sie ihre Kanäle/Quellen.
Die Problemaussagen, mit denen ich arbeiten werde, sind:
| Notizbuch | Github Link | Colab Link | Kaggle Kernel |
|---|---|---|---|
| Textklassifizierung: Mehrklasse | Github | Kaggle | |
| Textklassifizierung: Multi-Label | Github | Kaggle | |
| Sentiment -Klassifizierung mit Experimentverfolgung in Wandb! | Github | ||
| Namensbekanntheit genannt: Mit TPU -Verarbeitung! | Github | Kaggle | |
| Frage Beantwortung | |||
| Zusammenfassung Schreiben: Mit Experimentverfolgung in Wandb! | Github | Kaggle |
data : Dieser Ordner enthält alle für die Feinabstimmung verwendeten Spielzeugdaten.utils : Dieser Ordner enthält alle verschiedene Skripte, die zur Vorbereitung auf die Feinabstimmung verwendet werden.models : Ordner zum Speichern aller Artefakte Post Fine Tuning.Ich werde versuchen, die praktischen und Implementierungsaspekte der Feinabstimmung dieser Sprachmodelle bei verschiedenen NLP -Aufgaben zu behandeln. Sie können Ihr Wissen über dieses Thema verbessern, indem Sie die folgenden Ressourcen lesen/ansehen.
Aufpassen
Lektüre
