lightNLP

Lightnlp, очень базовая структура обработки естественного языка

Введение

Этот проект основан на Pytorch и Torchtext и направлен на обеспечение основной основы глубокого обучения для задач, связанных с обработкой естественного языка.

Для получения подробных инструкций и учебных пособий, пожалуйста, обратитесь к документации проекта: Lightnlp-Cookbook

заявление

1. С точки зрения позиционирования, этот проект является просто коллекцией и попыткой, и его цель не используется в качестве уровня предприятия и уровня производства. Целевая группа-это в основном компьютерные разработчики и начинающие, которые заинтересованы в практике различных задач обработки естественного языка, и, что более важно, они являются самооценкой .
2. Если пользователи или разработчики, которые имеют реальные потребности сценария, могут ссылаться на коммерческие услуги китайского НЛП для поиска коммерческих услуг, конечно, я готов предоставлять платные услуги.
3. Для тех, у кого есть определенное понимание обработки Pytorch и естественного языка, если вы хотите продолжить быстрое развитие и свободно настраивать приложения NLP, вы можете рассмотреть возможность открытия FastNLP, полученного в лаборатории NLP Университета Фудана, которая выполняет богатые рамочные функции и прост и прост в использовании.
4. Этот проект не предоставляет некоторые учебные данные и обученные модели для каждой задачи, как некоторые другие структуры, так что его можно загрузить и использовать напрямую.
5. Многие из моделей этого проекта основаны на исходной реализации на GitHub, а затем обрабатываются на основе процесса. Здесь я хотел бы выразить искреннюю благодарность соответствующим авторам!
6. Различные параметры каждой модели задач не точно настроены, а только в той степени, в которой они могут запустить.
7. Этот проект может быть достигнут только в следующих двух средах разработки. Я не отвечаю за какие -либо проблемы, возникающие из других сред.
   • Windows 10, Python 3.6, Pytorch 1.3
   • Manjaro, Python 3.7, Pytorch 1.3

Установить

pip install lightNLP

Рекомендуется использовать домашние источники для установки, например, использование следующей команды:

pip install -i https://pypi.douban.com/simple/ lightNLP

Зависимости установки

Поскольку некоторые библиотеки, такие как Pytorch и Torchtext, не находятся в источнике PYPI или имеют только более старые версии, нам нужно установить некоторые библиотеки отдельно.

Установите Pytorch

Пожалуйста, используйте последнюю версию Pytorch!

Для конкретной установки, пожалуйста, обратитесь к официальному веб -сайту Pytorch, чтобы выбрать версию, которая подходит вам в соответствии с платформой, методом установки, версии Python и версии CUDA.

Установите Torchext

Используйте следующую команду, чтобы установить последнюю версию Torchext:

pip install https://github.com/pytorch/text/archive/master.zip

Пример

Названное признание сущности (NER)

1. Обучающие данные

Биография

Примеры данных обучения следующие:

清 B_Time
明 I_Time
是 O
人 B_Person
们 I_Person
祭 O
扫 O
先 B_Person
人 I_Person
， O
怀 O
念 O
追 O
思 O
的 O
日 B_Time
子 I_Time
。 O

正 O
如 O
宋 B_Time
代 I_Time
诗 B_Person
人 I_Person

2. Используйте примеры

1. Обучение

 from lightnlp.sl import NER

# 创建NER对象
ner_model = NER()

train_path = '/home/lightsmile/NLP/corpus/ner/train.sample.txt'
dev_path = '/home/lightsmile/NLP/corpus/ner/test.sample.txt'
vec_path = '/home/lightsmile/NLP/embedding/char/token_vec_300.bin'

# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。
ner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='./ner_saves', log_dir='E:/Test/tensorboard/')

2. Тест

 # 加载模型，默认当前目录下的`ner_saves`目录
ner_model.load('./ner_saves')
# 对train_path下的测试集进行读取测试
ner_model.test(train_path)

3. прогноз

 from pprint import pprint

pprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))

Результаты прогнозирования:

 [{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]

4. Проверьте эффект обучения

Выполните следующую команду из командной строки, где E:TesttensorBoard модифицируется, чтобы быть пути хранения журнала во время обучения модели, а спецификация порта не является необязательной:

tensorboard --logdir=E: T est t ensorBoard --port=2019

Вы можете увидеть аналогичные эффекты:

5. развернуть услугу

 ner_model . deploy ( host = "localhost" , port = 2020 , debug = False )

Все параметры являются необязательными. Параметр host по умолчанию в localhost . Порт port будет автоматически применен для простоя в системе программой, а режим debug не будет включен по умолчанию.

Вы можете использовать почтальон или написать программу для ее проверки, как показано на рисунке ниже:

Тодо

бизнес

• Добавить краткое описание проекта
• Предоставьте демо обучающие данные для каждой задачи

проект

• Реконструируйте структуру проекта, объединяйте те же избыточные места и сохраняйте четкую структуру проекта
• Добавлены функции визуализации Tensorboard, в основном включающие scalar потерь и оценку и graph каждой модели (в настоящее время в функции ADD_GRAPH в настоящее время есть некоторые ошибки, поэтому его нельзя добавить в настоящее время.).
• Добавлена ​​простая функция развертывания модели на основе колбы (в настоящее время используется только для тестирования модельного обучения)
• Теперь путь и имя, сохраненные моделью, по умолчанию одинаковы и будут конфликтуют. Далее у каждой модели есть свое name .
• Добавлена ​​функция переподготовки.
• Добавить раннее стоп.

Функция

• Добавить модели, связанные с вектором, связанные с вектором, и код прогнозирования поездов
• Добавить модели, связанные с SKIP_GRAM и код прогнозирования обучения
• Добавить модели, связанные с анализом настроения и коды прогнозирования обучения
• Добавить текст неявные связанные модели и код прогнозирования поездов
• Добавить модели, связанные с генерацией текста и код прогнозирования обучения
• Добавить языковые модели, связанные с модели и код прогнозирования обучения
• Добавить связанные с анализами моделей зависимостей и код прогнозирования обучения
• Добавить модели, связанные с извлечением отношений и коды прогнозирования поездов
• Добавить китайские модели сегментации слова и коды прогнозирования обучения
• Добавить модели, связанные с аннотацией, и коды прогнозирования обучения
• Добавить модели извлечения событий и код прогнозирования обучения
• Добавить автоматические модели, связанные с резюме и код прогнозирования обучения
• Добавить модели, связанные с машинным переводом и код прогнозирования обучения
• Увеличьте модель корреляции сходства предложений и код прогнозирования поездов
• Добавить последовательность в модели, связанные с последовательностями и коды прогнозирования поездов
• Добавить модели, связанные с чатботом и коды прогнозирования обучения
• Добавить именованные модели, связанные с распознаванием объекта и прогнозирующий код обучения
• Добавьте некоторые реализации трансформатора для задач (на основе официальной реализации Pytorch)
• Добавить модели ELMO и код прогнозирования обучения
• Добавить модели, связанные с перчатками, и код прогнозирования обучения
• Добавить модели, связанные с GPT, и коды прогнозирования обучения
• Добавить модели, связанные с BERT, и коды прогнозирования обучения
• Добавить модели, связанные с извлечением атрибутов и код прогнозирования поездов
• Добавление моделей, связанных с пищеварением, и код прогнозирования обучения
• Добавить слово, означающее невидимых моделей, связанные
• Добавить модели, связанные с пониманием прочитанного и коды прогнозирования обучения
• Добавить модели, связанные с извлечением ключевых слов и коды прогнозирования обучения
• Добавить модели, связанные с синтаксисом компонентов и коды обучения прогнозирования

Награда

Если этот проект вам полезен, пожалуйста, дайте мне награду ~