nlp tutorial

NLP-Tutorial

nlp-tutorial ist ein Tutorial für WHO, das NLP (Natural Language Processing) unter Verwendung von Pytorch studiert. Die meisten Modelle in NLP wurden mit weniger als 100 Codezeilen implementiert (außer Kommentaren oder leeren Zeilen)

• [08-14-2020] Der alte TensorFlow V1-Code wird im Archivordner archiviert. Für die Lesbarkeit der Anfänger wird nur Pytorch Version 1.0 oder höher unterstützt.

Lehrplan - (Beispielzweck)

1. Basic -Einbettungsmodell

• 1-1. NNLM (neuronales Netzwerksprachmodell) - Vorhersage des nächsten Wortes
  • Papier - Ein neuronales probabilistisches Sprachmodell (2003)
  • Colab - nnlm.ipynb
• 1-2. Word2VEC (Skip -Gram) - Wörter einbetten und Diagramm anzeigen
  • Papier - Verteilte Darstellungen von Wörtern und Phrasen und ihre Kompositionalität (2013)
  • Colab - Word2VEC.IPynb
• 1-3. FastText (Anwendungsstufe) - Satzklassifizierung
  • Papier - Trickbeutel für die effiziente Textklassifizierung (2016)
  • Colab - fastText.ipynb

2. CNN (Faltungsnetzwerk)

• 2-1. Textcnn - Binärgefühl Klassifizierung
  • Papier - Faltungsnetzwerke für die Satzklassifizierung (2014)
  • Textcnn.ipynb

3.. RNN (wiederkehrendes neuronales Netzwerk)

• 3-1. Textrnn - Vorhersage des nächsten Schritts
  • Papier - Struktur in der Zeit finden (1990)
  • Colab - Textrnn.ipynb
• 3-2. Textlstm - automatisch
  • Papier - langes Kurzzeitgedächtnis (1997)
  • Colab - textlstm.ipynb
• 3-3. BI -LSTM - Vorhersage des nächsten Wortes im langen Satz
  • Colab - bi_lstm.ipynb

4. Aufmerksamkeitsmechanismus

• 4-1. SEQ2SEQ - Wort ändern
  • Papier - Lernphrase -Darstellungen mit RNN -Encoder -Decoder für die statistische maschinelle Übersetzung (2014)
  • Colab - seq2seq.ipynb
• 4-2. SEQ2SEQ mit Aufmerksamkeit - Übersetzen
  • Papier - Übersetzung der neuronalen Maschine durch gemeinsames Lernen, sich auszurichten und zu übersetzen (2014)
  • Colab - SEQ2SEQ (Achtung) .Ipynb
• 4-3. BI -LSTM mit Aufmerksamkeit - Klassifizierung der binären Stimmung
  • Colab - bi_lstm (Achtung) .Ipynb

5. Modell basierend auf Transformator

• 5-1. Der Transformator - übersetzen
  • Papier - Aufmerksamkeit ist alles, was Sie brauchen (2017)
  • Colab - Transformator.ipynb, Transformator (Greedy_Decoder) .IPYNB
• 5-2. Bert - Klassifizierung Nächster Satz und Vorhersage maskierter Token
  • Papier - Bert: Vorausbildung von tiefen bidirektionalen Transformatoren für Sprachverständnis (2018)
  • Colab - Bert.ipynb

Abhängigkeiten

• Python 3.5+
• Pytorch 1.0.0+

Autor

• Tae Hwan Jung (Jeff Jung) @graykode
• Autor E -Mail: [email protected]
• Danksagung nach Mojitok als NLP -Forschungspraktikum.