deep learning nlp kaggle toxic comment

Глубокое обучение NLP

Этот учебник - это введение с использованием алгоритма глубокого обучения в области обработки естественного языка.

И он подготовлен с использованием контента (теория и код) из следующих источников:

1. Глубокое обучение с Python, книга Франсуа Чолле
2. Методы нейронной сети в обработке естественного языка, книга Йоава Голдберга
3. CS224D: глубокое обучение для обработки естественного языка

Практическая код на набор данных о классификации токсичных комментариев Kaggle

Оглавление

1. Варианты использования

   1. Классификация последовательности
      1. Обнаружение языка
      2. Классификация категорий (настроение, темы и т. Д.)
      3. Классификация ключевых слов (GENDER, место, место/имя человека)
   2. Последовательность к последовательности (seq2seq)
      1. Перевод
      2. Gmail Smart Reply
      3. Разговорная ИИ: чат -боты
   3. Другие
      1. Имя, история, стихотворение, генератор диалога
      2. Подпись изображения
      3. Часть мечения речи
      4. Название объекта признание

2. Настройка системы

   1. Python 3.6
   2. пип
   3. Virtualenv
   4. Библиотеки:
      • Керас
      • Tensorflow
      • Юпитер
      • matplotlib

3. Наборы данных для игры

   1. Набор данных обзора IMDB
   2. Kaggle (Toxic Classification Challenge) Набор данных комментариев Википедии
   3. Ubuntu Dialog Corpora
   4. Набор данных перевода
   5. Другие наборы данных

4. Анализ данных

   1. Общий анализ

5. Представление последовательности

   1. Представительство
   2. Одна горячая кодировка
   3. Слово встраивание
      • Предварительно обученные встраивания
        • Word2VEC
        • Перчатка

6. Модели

   1. Встроение в класс модель 1
   2. Встроение, подключенное к 1 уровне RNN (рецидивирующая нейронная сеть) модель 2 и модель 2 расширенные
   3. Расширенная двунаправленная модель 3 и модель 3 и модель 3

7. Современная архитектура RNN

   1. Длинная кратковременная память (LSTM)
   2. Рецидив GATER (GRU)
   3. Seq2seq
   4. Внимание
   5. Лучший поиск

8. Керас

   1. API и ключевые слова
      1. Оптимизаторы
      2. Потеря
      3. Активация
      4. Метрики
   2. Развернуть модель для производства и вывода

9. Методы оптимизации модели

   1. Выбывать
   2. Усеченное обратное распространение во времени (TBPTT)
   3. Проблема градиента исчезает