nlp_overview

Современные методы глубокого обучения, применяемые к обработке естественного языка

Этот проект содержит обзор недавних тенденций в обработке естественного языка на основе глубокого обучения (NLP). Он охватывает теоретические описания и детали реализации за моделями глубокого обучения, таких как рецидивирующие нейронные сети (RNNS), сверточные нейронные сети (CNNS) и обучение подкреплению, используемые для решения различных задач и применений NLP. Обзор также содержит сводку современных результатов для задач NLP, таких как машинный перевод , ответы на вопросы и системы диалога . Вы можете найти учебный ресурс по следующему адресу: https://nlpoverview.com/. Снимок веб -сайта представлен ниже:

Об этом проекте

Основные мотивы для этого проекта заключаются в следующем:

• Поддерживать актуальный учебный ресурс, который интегрирует важную информацию, связанную с исследованиями НЛП, такой как:
  • Состояние результатов искусства
  • Новые концепции и приложения
  • Новые наборы данных
  • Кодовые/наборы данных
  • и т. д.
• Создайте дружелюбный и открытый ресурс, чтобы помочь исследователям и всем, кто интересуется узнать о современных методах, применяемых к NLP
• Совместный проект, в котором экспертные исследователи могут предложить изменения (например, включить результаты SOTA) на основе их недавних результатов и экспериментальных результатов

Оглавление

• Введение
• Распределенное представление
  • Слово встраивание
  • Word2VEC
  • Персонаж встраивания
  • Контекстуализированные слова встраивания
• Сверточные нейронные сети
  • Базовый CNN
    • Моделирование предложения
    • Оконная подход
  • Приложения
• Повторяющиеся нейронные сети
  • Потребность в повторных сетях
  • Модели RNN
    • Простой RNN
    • Длинная кратковременная память
    • Зарегистрированные повторяющиеся единицы
  • Приложения
    • RNN для классификации уровня слов
    • RNN для классификации на уровне предложений
    • RNN для генерации языка
  • Механизм внимания
  • Параллельное внимание: трансформатор
• Рекурсивные нейронные сети
  • Базовая модель
• Глубокие усиленные модели и глубокое обучение без присмотра
  • Подкрепление обучения для генерации последовательностей
  • Неконтролируемое обучение представления предложения
  • Глубокие генеративные модели
• Сетей с памятью
• Производительность различных моделей на разных задачах НЛП
  • POS -метка
  • Диапазон
  • Признание по имени
  • Семантическая роль маркировки
  • Классификация настроений
  • Машинный перевод
  • Ответ на вопрос
  • Системы диалога
  • Контекстуализированные встраивания

Как внести свой вклад?

Существуют различные способы внести свой вклад в этот проект.

• Самый быстрый способ предложить редактирование или добавление текста, следующее: fork репо, перейти к соответствующей chapter , а затем нажмите кнопку edit , чтобы добавить свою информацию. На изображении ниже показаны последние два шага после того, как вы разделили репо. Затем вы можете подать запрос на привлечение, и мы одобрим соответствующим образом. Если вы хотите изменить огромную часть проекта или даже добавить главу, мы рекомендуем посмотреть на раздел "Build site locally" ниже.

• Вы также можете предложить дополнения текста в этом общедоступном документе, если вы не знакомы с git . Мы поможем отредактировать и пересмотреть контент, а затем помочь вам включить вклад в проект.
• Обратитесь к разделу «Проблема», чтобы узнать больше о других способах помочь.
• Или вы можете внести предложения, отправив новую проблему. Скоро появятся более подробные инструкции.

Построить сайт на местном уровне

Если вы планируете изменить какой -то аспект сайта (например, добавление секции или стиля) и хотите просмотреть его локально на вашей машине, мы предлагаем вам создать и запустить сайт локально с помощью jekyll . Вот инструкции:

• Во -первых, проверьте, что Ruby 2.1.0 или выше установлен на вашем компьютере. Вы можете проверить, используя команду ruby --version . Если нет, пожалуйста, установите его, используя инструкции, представленные здесь.
• После обеспечения установки Ruby установите бундлер, используя gem install bundler .
• Клонировать это репо локально: git clone https://github.com/omarsar/nlp_overview.git
• Перейдите в папку Repo с cd nlp_overview
• Установите Jekyll: bundle install
• Запустите сайт Jekyll Locally: bundle exec jekyll serve
• Сайт предварительного просмотра в браузере по адресу http://localhost:4000

Обслуживание

Этот проект поддерживается Элвисом Саравией и Суджанья Порией. Вы также можете найти меня в Twitter, если у вас есть какие -либо прямые комментарии или вопросы. Основная часть этого проекта была непосредственно заимствована из работы Young et al. (2017). Мы благодарны авторам.