Transformers Recipe
1.0.0
Transformatoren haben die Entwicklung neuer Techniken und Modelle für die natürliche Sprachverarbeitung (NLP) beschleunigt. Während es hauptsächlich für NLP -Aufgaben verwendet wurde, wird in anderen Bereichen wie Computer Vision und Verstärkungslernen nun eine starke Einführung verzeichnet. Das macht es zu einem der wichtigsten modernen Konzepte, um sie zu verstehen und zu bewerben.
Ich bin mir bewusst, dass viele Schüler und Praktiker für maschinelles Lernen und NLP -Studenten und Praktiker daran interessiert sind, über Transformers zu lernen. Daher habe ich einen Studienleitfaden in Form einer Liste von Ressourcen und Lernmaterialien erstellt, um die Schüler zu unterstützen, die daran interessiert sind, die Welt der Transformatoren kennenzulernen.
Zunächst habe ich ein paar Links zu Materialien vorbereitet, mit denen ich Transformatormodelle von Grund auf neu verstanden und implementiert habe.
Versuchen Sie zunächst, eine sehr hohe Einführung in Transformers zu erhalten. Einige Referenzen, die es wert sind, sich angesehen zu haben:
Einführung in Transformator - Vorlesungsnotizen (Elvis Saravia)
Transformers von Grund auf (Brandon Rohrer)
Wie Transformatoren in Deep Learning und NLP arbeiten: Eine intuitive Einführung (AI Sommer)
Stanford CS25 - Transformers United
Tiefes Lernen für Sprachverständnis (DeepMind)
Transformatormodelle: Ein Einführung und ein Katalog (Xavier Amatriain)
Jay Alammars illustrierte Erklärungen sind außergewöhnlich. Sobald Sie das hochrangige Verständnis von Transformatoren erhalten haben, können Sie in diese beliebte detaillierte und illustrierte Erklärung von Transformatoren einsteigen:
Der illustrierte Transformator
Dieser nächste Artikel unterteilt auch Transformers in seine Komponenten und erklärt und veranschaulicht im Detail, was jeder Teil tut:
Den Transformator aufbrechen
Zu diesem Zeitpunkt suchen Sie möglicherweise nach einer technischen Zusammenfassung und Übersicht über Transformers. Die Blog -Beiträge von Lilian Weng sind ein Juwel und geben präzise technische Erklärungen/Zusammenfassungen:
Die Transformatorfamilie
Die Transformer Family Version 2.0
Nach der Theorie ist es wichtig, das Wissen zu testen. Ich bevorzuge es normalerweise, Dinge detaillierter zu verstehen, daher bevorzuge ich, Algorithmen von Grund auf neu zu implementieren. Für die Implementierung von Transformatoren habe ich mich hauptsächlich auf dieses Tutorial verlassen:
Der kommentierte Transformator | (Google Colab | Github)
Sprachmodellierung mit Nn.transformator und Torchtext
Wenn Sie in einigen der neuesten Transformatoren eingehende Implementierungen suchen, finden Sie möglicherweise auch die Papiere mit Code-Methodensammlung für Transformatoren nützlich.
Dieses Papier von Vaswani et al. stellte die Transformatorarchitektur vor. Lesen Sie es, nachdem Sie ein hochrangiges Verständnis haben und sich auf die Details einlassen möchten. Achten Sie auf andere Referenzen im Papier zum Tauchen.
Aufmerksamkeit ist alles was Sie brauchen
Nach einiger Zeit, die die Theorie hinter Transformatoren zu studieren und zu verstehen, sind Sie möglicherweise daran interessiert, sie auf verschiedene NLP -Projekte oder Forschungsergebnisse anzuwenden. Zu diesem Zeitpunkt ist die beste Wette die Transformers Library durch Umarmung.
Transformatoren
Das umarmende Face -Team hat auch ein neues Buch über NLP mit Transformers veröffentlicht. Vielleicht möchten Sie das hier draußen überprüfen.
Als Bonus finden Sie hier eine großartige Leseliste auf LLMs von Sebastian Raschka.
Verständnis von großsprachigen Modellen - eine transformative Leseliste
Fühlen Sie sich frei, ein Studienmaterial vorzuschlagen. Im nächsten Update möchte ich eine umfassendere Sammlung von Transformatoranwendungen und -Papieren hinzufügen. Darüber hinaus kommt auch eine Code -Implementierung für einfache Experimente. Bleiben Sie dran!
Folgen Sie mir auf Twitter, um regelmäßige Updates zu neuen ML- und NLP -Ressourcen zu erhalten.
