DeepNLP Course

Глубокий курс NLP в Эбби

Глубокое обучение для Crash Course NLP в Эбби.

Предлагаемый учебник: Методы нейронной сети в обработке естественного языка Yoav Goldberg

Сейчас я постепенно обновляю и перевожу записные книжки. Оставайся на связи.

Материалы

Неделя 1: Введение

Анализ настроений в наборе данных обзора фильмов IMDB: краткий обзор классического машинного обучения для NLP + непристойно кратко вступление в кера.

Русская версия:

Обновленная английская версия:

Неделя 2: Слово встраивание: часть 1

Совместите слово «встраиваемые»: неконтролируемый метод для захвата некоторых забавных отношений между словами.
Фразы сходство с Word Entricdings Model + Word Machine Translation без параллельных данных (с Muse Word Enterdings).

Русская версия:

Обновленная английская версия:

Неделя 3: Слово встраивание: часть 2

Введение в Pytorch. Внедрение линейной регрессии ПЭТ на чистое Numpy и Pytorch. Реализации Cbow, Skip-Gram, отрицательной выборки и структурированных моделей Word2VEC.

Русская версия:

Обновленная английская версия:

Неделя 4: сверточные нейронные сети

Введение в сверточные сети. Отношения между свержениями и n-граммами. Простой фамилический детектор на контуляции на уровне символов + забавные визуализации.

Русская версия:

Обновленная английская версия:

Неделя 5: RNNS: Часть 1

RNN для классификации текста. Простая реализация RNN + тест запоминания. Детектор фамилии в многоязычной настройке: классификатор LSTM на уровне символов.

Русская версия:

Обновленная английская версия:

Неделя 6: RNNS: Часть 2

RNNS для маркировки последовательности. Реализации теггера частично, основанные на вставках слов и встроениях на уровне символов.

Русская версия:

Неделя 7: языковые модели: часть 1

Языковая модель на уровне персонажа для российских твитов Тролля Генерация: модель с фиксированным окном через свертывание и модель RNN.
Простая модель условного языка: Генерация фамилии данный исходный язык.
И задача классификации токсичных комментариев - применить свои навыки к реальной проблеме.

Русская версия:

Неделя 8: Языковые модели: часть 2

Языковая модель на уровне слов для поколения поэзии. ПЭТ-примеры обучения передачи и многозадачного обучения применяются к языковым моделям.

Русская версия:

Неделя 9: seq2seq

Seq2seq для машинного перевода и подписания изображения. Кодирование байтовой пары, поиск луча и другие полезные материалы для машинного перевода.

Русская версия:

Неделя 10: seq2seq с вниманием

Seq2seq с вниманием к машинному переводу и подписанию изображений.

Русская версия:

Неделя 11: Трансформеры и текстовое обобщение

Реализация модели трансформатора для суммирования текста. Обсуждение сети Генераторов Повествования для суммирования текста.

Русская версия:

Неделя 12: Диалог Системы: Часть 1

Целевые системы диалога. Внедрение модели с несколькими задачами: классификатор намерений и теггер токена для диспетчера диалогов.

Русская версия:

Неделя 13: Системы диалога: часть 2

Общие системы диалога и DSSMS. Реализация модели ответа вопросов в наборе данных команды и модели Chit-Chat в наборе данных OpenSubtitles.

Русская версия:

Неделя 14: предварительно проведенные модели

Предварительные модели для различных задач: универсальный кодер предложения для сходства предложений, ELMO для мечения последовательности (с небольшим количеством CRF), Bert для SWAG - рассуждения о возможном продолжении.

Русская версия:

Окончательная презентация

Резюме NLP - резюме классных вещей, которые появились и не в курсе.