nlp architect

️ Прекращение проекта - этот проект больше не будет поддерживаться Intel. Этот проект был идентифицирован как известный сбег на безопасность. Intel прекратила разработку и взносы, включая, помимо прочего, обслуживание, исправления ошибок, новые выпуски или обновления, в этот проект. Intel больше не принимает патчи в этот проект.

Библиотека NLP/NLU с глубоким обучением Intel® AI Lab

Обзор | Модели | Установка | Примеры | Документация | Учебные пособия | Внося

NLP Architect-это библиотека Python с открытым исходным кодом для изучения современных топологий и методов глубокого обучения для оптимизации обработки естественного языка и понимания естественного языка.

Обзор

NLP Architect - это библиотека NLP, предназначенная для того, чтобы быть гибкой, простым в расширении, позволяет легко и быстро интегрировать модели NLP в приложениях и демонстрировать оптимизированные модели.

Функции:

• Основные модели NLP, используемые во многих задачах NLP и полезны во многих приложениях NLP

• Новые модели NLU, демонстрирующие новые топологии и методы

• Оптимизированные модели NLP/NLU, демонстрирующие различные алгоритмы оптимизации на нейронных моделях NLP/NLU

• Модельный дизайн:

  • Обучить и запустить модели из командной строки.
  • API для использования моделей для вывода в Python.
  • Процедуры определения пользовательских процессов для обучения, вывода или чего -либо, связанных с обработкой.
  • Подсистема CLI для выполнения процедур

• Основываясь на оптимизированных рамках глубокого обучения:

  • Tensorflow
  • Пирог
  • Динет

• Основные утилиты для работы с моделями NLP-предварительная обработка текста/строки, ввода-выводы, манипуляция данных, метрики, внедрения.

Установка NLP Architect

Мы рекомендуем установить NLP Architect в новую среду Python, чтобы использовать Python 3.6+ с актуальным pip , setuptools и h5py .

Установите с помощью pip

Установите только основную библиотеку

pip install nlp-architect

Установите из источника (GitHub)

Включает в себя библиотеку, примеры, решения и учебные пособия:

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

Заводящие примеры и решения

Для запуска приведенных примеров и решений установите библиотеку с [all] флагом, который установит дополнительные пакеты. (Требуется установка из источника)

pip install .[all]

Модели

Модели NLP, которые обеспечивают лучшее (или близкое) в классе производительность:

• Слово chunking
• Названное признание сущности
• Расположение зависимости
• Извлечение намерений
• Классификация настроений
• Языковые модели
• Трансформеры (для задач NLP)

Модели понимания естественного языка (NLU), которые касаются семантического понимания:

• Анализ настроений на основе аспектов (ABSA)
• Обнаружение намерений сустава и метка слотов
• Существительная фраза встроена представление (NP2VEC)
• Наиболее распространенное обнаружение смысла слова
• Идентификация отношения
• Cross Document Coreference
• Существительная фраза семантическая сегментация

Оптимизация моделей NLP/NLU и Misc. Методы оптимизации:

• Квантованный Берт (8 бит)
• Растилляция знаний с использованием трансформаторов
• Разреженный и квантованный перевод нейронной машины (GNMT)

Решения (сквозные приложения) с использованием одной или нескольких моделей:

• Расширение набора терминов - использует Включенные Word Chunker в качестве существительного экстрактора фразы и NP2VEC для создания семантических наборов терминов
• Темы и анализ тенденций - анализ трендовых фраз во временных корпусах
• Анализ настроений на основе аспектов (ABSA)

Документация

Полная библиотечная документация моделей NLP, алгоритмов, решений и инструкций о том, как запустить каждую модель, можно найти на нашем веб -сайте.

Философия дизайна библиотеки библиотеки NLP

NLP Architect-это библиотека , ориентированная на модель, предназначенную для демонстрации новых и различных оптимизаций нейронной сети. Библиотека содержит модели, связанные с NLP/NLU, на задачу, различные топологии нейронной сети (которые используются в моделях), процедуры для упрощения рабочих процессов в библиотеке, предварительно определенных процессоров данных и наборов данных и утилит MISC. Библиотека предназначена для того, чтобы быть инструментом для разработки моделей: предварительный процесс данных, модель построения, тренировки, проверка, вывод, сохранение или загрузка модели.

Основные рекомендации по проектированию:

• Глубокая структура обучения агностик
• Модели NLP/NLU на задачу
• Различные топологии, используемые в моделях
• Showcase end-to-end Applications (Solutions) с использованием одной или нескольких модели NLP Architect
• Общие погрузчики набора данных, утилиты для обработки текстовых данных и разные утилиты, которые поддерживают разработку модели НЛП (погрузчики, текстовые процессоры, IO, метрики и т. Д.)
• Процедуры определения процессов для обучения, вывода, оптимизации или любых тщательно продуманных сценариев.
• Pythonic API для использования моделей для вывода
• Обширная модель документация и учебные пособия

Примечание

NLP Architect является активным пространством исследований и разработок; В будущих выпусках будут внесены новые модели, решения, топологии и фреймворки. Мы стремимся убедиться, что все модели работают с Python 3.6+. Мы призываем исследователей и разработчиков внести свою работу в библиотеку.

Цитируя

Если вы используете NLP Architect в своем исследовании, используйте следующую цитату:

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

Отказ от ответственности

Архитектор NLP выпускается в качестве справочного кода для исследовательских целей. Это не официальный продукт Intel, и уровень качества и поддержки может быть не так, как ожидалось от официального продукта. NLP Architect предназначен для использования локально и не был разработан, разработан или оценен для использования производства или веб-развертывания. Дополнительные алгоритмы и среды планируются быть добавлены в структуру. Обратная связь и вклады из исследовательских сообществ с открытым исходным кодом и NLP более чем приветствуются.

Контакт

Свяжитесь с командой разработчиков NLP Architect через выпуск или электронное письмо по электронной почте: [email protected]