deep learning nlp kaggle toxic comment

Tiefeslernen für NLP

Dieses Tutorial ist eine Einführung der Verwendung von Deep -Learning -Algorithmus im Bereich der Verarbeitung natürlicher Sprache.

Und es wird unter Verwendung von Inhalten (Theorie und Code) aus folgenden Quellen erstellt:

1. Deep Learning mit Python, Buch von François Chollet
2. Methoden für neuronale Netzwerke in der natürlichen Sprachverarbeitung, Buch von Yoav Goldberg
3. CS224D: Deep -Lernen für die Verarbeitung natürlicher Sprache

Üben Sie den Code in Kaggle's Toxic Kommentar Classification Challenge Dataset

Inhaltsverzeichnis

1. Anwendungsfälle

   1. Sequenzklassifizierung
      1. Spracherkennung
      2. Kategorieklassifizierung (Stimmung, Themen usw.)
      3. Schlüsselwortklassifizierung (Name-Geschlecht, Ort/Personenname)
   2. Sequenz zur Sequenz (SEQ2SEQ)
      1. Übersetzung
      2. Google Mail Smart Antwort
      3. Konversations -KI: Chat -Bots
   3. Andere
      1. Name, Geschichte, Gedicht, Dialoggenerator
      2. Bildunterschrift
      3. Teil des Sprachverzeichnisses
      4. Nennen Sie Entitätserkennung

2. Systemeinrichtung

   1. Python 3.6
   2. Pip
   3. Virtualenv
   4. Bibliotheken:
      • Keras
      • Tensorflow
      • Jupyter
      • Matplotlib

3. Datensätze zum Spielen

   1. IMDB -Datensatz
   2. Kaggle (Challenge der Toxic Kommentarklassifizierung) Wikipedia Kommentar Datensatz
   3. Ubuntu -Dialogkörper
   4. Übersetzungsdatensatz
   5. Andere Datensätze

4. Datenanalyse

   1. Allgemeine Analyse

5. Sequenzdarstellung

   1. Darstellung
   2. Eine heiße Kodierung
   3. Worteinbettungen
      • Vor ausgebildete Einbettungen
        • Word2Vec
        • Handschuh

6. Modelle

   1. Einbettung in das Klassenmodell 1
   2. Einbetten angeschlossen mit 1 Schicht RNN (rezidivierendes neuronales Netzwerk) Modell 2 und Modell 2 erweitert
   3. Bidirektionales RNN -Modell 3 und Modell 3 erweitert

7. Moderne RNN -Architektur

   1. Langes Kurzzeitgedächtnis (LSTM)
   2. Gater Recurrent Unit (Gru)
   3. SEQ2SEQ
   4. Aufmerksamkeit
   5. Strahlsuche

8. Keras

   1. API & Keywords
      1. Optimierer
      2. Verlust
      3. Aktivierung
      4. Metriken
   2. Modell für Produktion und Inferenz einsetzen

9. Modelloptimierungstechniken

   1. Ausfallen
   2. Abgeschnittene Backpropagation durch die Zeit (TBPTT)
   3. Verschwandungsgradientenproblem