deep learning nlp kaggle toxic comment

Aprendizaje profundo para la PNL

Este tutorial es una introducción del uso del algoritmo de aprendizaje profundo en el dominio del procesamiento del lenguaje natural.

Y se prepara utilizando contenido (teoría y código) de las siguientes fuentes:

1. Aprendizaje profundo con Python, libro de François Chollet
2. Métodos de red neuronal en procesamiento del lenguaje natural, libro de Yoav Goldberg
3. CS224D: Aprendizaje profundo para el procesamiento del lenguaje natural

Código de práctica en el conjunto de datos del desafío de clasificación de comentarios tóxicos de Kaggle

Tabla de contenido

1. Casos de uso

   1. Clasificación de secuencia
      1. Detección de idiomas
      2. Clasificación de categoría (sentimiento, temas, etc.)
      3. Clasificación de palabras clave (nombre de nombre, nombre/persona)
   2. Secuencia a la secuencia (SEQ2SEQ)
      1. Traducción
      2. Respuesta inteligente de Gmail
      3. AI conversacional: bots de chat
   3. Otros
      1. Nombre, historia, poema, generador de diálogo
      2. Subtitulación de imágenes
      3. Parte del etiquetado del habla
      4. Reconocimiento de entidad de nombre

2. Configuración del sistema

   1. Python 3.6
   2. pepita
   3. Virtualenv
   4. Bibliotecas:
      • Keras
      • Flujo tensor
      • Jupyter
      • mate

3. Conjuntos de datos para jugar

   1. Conjunto de datos de revisión de IMDB
   2. KAGGLE (Desafío de clasificación de comentarios tóxicos) conjunto de datos de comentarios de Wikipedia
   3. Cuerpos de diálogo de Ubuntu
   4. Conjunto de datos de traducción
   5. Otros conjuntos de datos

4. Análisis de datos

   1. Análisis general

5. Representación de secuencia

   1. Representación
   2. Una codificación caliente
   3. Incrustaciones de palabras
      • Incrustaciones previas al entrenamiento
        • Word2vec
        • Guante

6. Modelos

   1. Incrustación a la clase Modelo 1
   2. Incrustación conectada a 1 capa RNN (red neuronal recurrente) Modelo 2 y Modelo 2 extendido
   3. Bidireccional RNN Modelo 3 y Modelo 3 extendido

7. Arquitectura RNN moderna

   1. Memoria a largo plazo (LSTM)
   2. Unidad recurrente de Gater (Gru)
   3. SEQ2SEQ
   4. Atención
   5. Búsqueda de haz

8. Keras

   1. API y palabras clave
      1. Optimizadores
      2. Pérdida
      3. Activación
      4. Métrica
   2. Implementar el modelo de producción e inferencia

9. Técnicas de optimización del modelo

   1. Abandonar
   2. Propropagación truncada a través del tiempo (TBPTT)
   3. Problema de gradiente de desaparición