deep learning nlp kaggle toxic comment

Aprendizagem profunda para PNL

Este tutorial é uma introdução do uso do algoritmo de aprendizado profundo no domínio do processamento de linguagem natural.

E é preparado usando o conteúdo (teoria e código) a partir de fontes a seguir:

1. Aprendizagem profunda com Python, livro de François Chollet
2. Métodos de rede neural no processamento de linguagem natural, reserve por Yoav Goldberg
3. CS224D: aprendizado profundo para processamento de linguagem natural

Código de prática no conjunto de dados de desafio de classificação de comentários tóxicos de Kaggle

Índice

1. Casos de uso

   1. Classificação de sequência
      1. Detecção de idiomas
      2. Classificação da categoria (sentimento, tópicos etc.)
      3. Classificação de palavras-chave (nome-gênero, nome de local/pessoa)
   2. Sequência à sequência (SEQ2SEQ)
      1. Tradução
      2. Resposta inteligente do Gmail
      3. Conversational AI: BOT BOTS
   3. Outros
      1. Nome, história, poema, gerador de diálogo
      2. Legenda da imagem
      3. Parte da marcação de fala
      4. Reconhecimento de entidade

2. Configuração do sistema

   1. Python 3.6
   2. pip
   3. Virtualenv
   4. Bibliotecas:
      • Keras
      • Tensorflow
      • Jupyter
      • matplotlib

3. Conjuntos de dados para tocar

   1. DataSet de revisão do IMDB
   2. Kaggle (Desafio de Classificação de Comentários Tóxicos) DataSet Comentário da Wikipedia
   3. Ubuntu Dialog Corpora
   4. Conjunto de dados de tradução
   5. Outros conjuntos de dados

4. Análise de dados

   1. Análise Geral

5. Representação de sequência

   1. Representação
   2. Uma codificação quente
   3. Incorporação de palavras
      • Incorporações pré -treinadas
        • Word2vec
        • Luva

6. Modelos

   1. Incorporando ao Modelo 1 da classe
   2. Incorporação conectada a 1 camada RNN (rede neural recorrente) Modelo 2 e Modelo 2 estendidas
   3. RNN bidirecional Modelo 3 e Modelo 3 estendido

7. Arquitetura RNN moderna

   1. Memória de longo prazo de longo prazo (LSTM)
   2. Unidade recorrente Gater (GRU)
   3. SEQ2SEQ
   4. Atenção
   5. Pesquisa de feixe

8. Keras

   1. API e palavras -chave
      1. Otimizadores
      2. Perda
      3. Ativação
      4. Métricas
   2. Implantar modelo para produção e inferência

9. Técnicas de otimização de modelos

   1. Cair fora
   2. Retropropagação truncada ao longo do tempo (TBPTT)
   3. Problema de gradiente de desaparecimento