Erste Schritte mit transformatorenbasierter natürlicher Sprachverarbeitung (NLP)
Verarbeitung natürlicher Sprache mit Transformatoren. Die Objekte, die dieses Projekt ist:
- NLP -Anfänger, Transformatoranfänger
- Haben eine bestimmte grundlegende Programmierung von Python und Pytorch
- Interessiert an modernsten Transformatormodellen
- Verstehen und kennen Sie einfache Deep -Learning -Modelle
Die Vision dieses Projekts ist:
Wir hoffen, lebhafte Erklärungen für Prinzipien und mehrere praktische praktische Projekte zu kombinieren, um Anfängern dabei zu helfen, mit NLP in der Ära Deep Learning schnell zu beginnen.
Die Hauptreferenzmaterialien für dieses Projekt sind:
- Codebibliothek von Suggingface/Transformers
- Viele ausgezeichnete Transformatoren erklären und teilen
Projektmitglieder:
- Erenup (Duoduo Notes), Peking University, verantwortliche Person
- Zhang Fan, Datawhale, Tianjin University, Kapitel 4
- Zhang Xian, Harbin Institute of Technology, Kapitel 2
- Li Liqiu, Zhejiang Universität, Kapitel 3
- Cai Jie, Peking University, Kapitel 4
- Hlzhang, McGill University, Kapitel 4
- Taiwan Yunpeng Kapitel 2
- Kapitel 2 von Zhang Hongxu
Dieses Projekt hat viele hervorragende Dokumente und Teilen zusammengefasst und untersucht und in jedem Kapitel Quellen markiert. Wenn ein Verstoß vorliegt, wenden Sie sich bitte rechtzeitig an die Projektmitglieder. Danke schön. Gehen Sie zu Github und klicken Sie auf Stern und erfahren Sie mehr mit der halben Anstrengung? Danke schön.
Projektinhalt
Kapitel 1 - Vorwort
- 1.0-lokaler Lese- und Code-Ausgangsumgebungskonfiguration.md
- 1.1-Der Aufstieg der Transformatoren in NLP
Kapitel 2 bezogene Prinzipien des Transformators
- 2.1 Aufmerksamkeit
- 2.2- Grafischer Transformator
- 2.2.1-Pytorch Writing Transformator.md
- 2.2.2-Pytorch Writing Transformer-optional Reading.md.md
- 2,3-Illustrated Bert
- 2,4-grafisches GPT
- 2,5-Kapitel-Test
Kapitel 3 - Schreiben Sie ein Transformatormodell: Bert
- 3.1-Wie, um eine Bert zu implementieren
- 3,2 wie eine Bert angewendet werden
- 3.3-Kapitel-Test
Kapitel 4 - Verwenden Sie Transformatoren, um NLP -Aufgaben zu lösen
- 4.0-vorwort
- 4.1-Text-Klassifizierung
- 4.2-Sequenzmarkierung
- 4.3-q & a taskextrahierter Q & A.
- 4.4-q & eine Task-Multiple-Auswahl Fragen und Antworten
- 4,5-generiertes Aufgabensprachmodell
- 4.6 Generate Tasks-Machine-Übersetzung
- 4.7 generierte Task-Summen-Generation
- 4.8-Kapitel-Test
