deep learning nlp kaggle toxic comment

Apprentissage en profondeur pour la PNL

Ce tutoriel est une introduction de l'utilisation de l'algorithme d'apprentissage en profondeur dans le domaine du traitement du langage naturel.

Et il est préparé en utilisant du contenu (théorie et code) à partir des sources suivantes:

1. Deep Learning with Python, livre de François Chollet
2. Méthodes de réseau neuronal en traitement du langage naturel, livre de yoav goldberg
3. CS224D: Apprentissage en profondeur pour le traitement du langage naturel

Code de pratique sur l'ensemble de données du défi de classification des commentaires toxiques de Kaggle

Table des matières

1. Cas d'utilisation

   1. Classification des séquences
      1. Détection des langues
      2. Classification des catégories (sentiment, sujets, etc.)
      3. Classification des mots clés (nom de nom, place / nom de personne)
   2. Séquence à la séquence (seq2seq)
      1. Traduction
      2. Réponse intelligente de Gmail
      3. AI conversationnel: bots de chat
   3. Autres
      1. Nom, histoire, poème, générateur de dialogue
      2. Sous-titrage d'image
      3. Partie du marquage de la parole
      4. Nom de la reconnaissance des entités

2. Configuration du système

   1. Python 3.6
   2. pépin
   3. Virtualv
   4. Bibliothèques:
      • Kéras
      • Tensorflow
      • Jupyter
      • matplotlib

3. Ensembles de données à jouer

   1. Ensemble de données de révision IMDB
   2. Kaggle (Toxic Commentaire Classification Challenge) Wikipedia Commentaire de commentaires de commentaires
   3. Ubuntu Dialog Corpra
   4. Ensemble de données de traduction
   5. Autres ensembles de données

4. Analyse des données

   1. Analyse générale

5. Représentation de séquence

   1. Représentation
   2. Un encodage chaud
   3. Incorporation de mots
      • Intégres pré-entraînés
        • Word2vec
        • Gant

6. Modèles

   1. Incorporer le modèle de classe 1
   2. Intégration connectée à 1 couche RNN (réseau neuronal récurrent) modèle 2 et modèle 2 étendu
   3. Bidirectional RNN modèle 3 et modèle 3 étendu

7. Architecture RNN moderne

   1. Mémoire à court terme (LSTM)
   2. Gater Recurrent Unit (GRU)
   3. SEQ2SEQ
   4. Attention
   5. Recherche de faisceau

8. Kéras

   1. API et mots clés
      1. Optimisateurs
      2. Perte
      3. Activation
      4. Métrique
   2. Déployer le modèle à la production et à l'inférence

9. Techniques d'optimisation du modèle

   1. Abandonner
   2. TRONNÉ DANS PROPAPAGATION À travers le temps (TBPTT)
   3. Problème de dégradé de disparition