Kashgari

Кашгари

Обзор | Производительность | Установка | Документация | Внося

??? Мы выпустили версию 2.0.0 с поддержкой TF2. ???

Если вы используете этот проект для своего исследования, пожалуйста, укажите:

 @misc{Kashgari
  author = {Eliyar Eziz},
  title = {Kashgari},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/BrikerMan/Kashgari}}
}

Обзор

Kashgari-это простая и мощная структура обучения NLP, построить современную модель за 5 минут для распознавания именованных объектов (NER), тегинга (POS) и задач классификации текста.

• Дружелюбный . Код Кашгари прост, хорошо задокументирован и протестирован, что облегчает понимание и модификацию.
• Мощный и простой . Kashgari позволяет вам применять современные модели обработки естественного языка (NLP) к вашему тексту, такие как распознавание именованных объектов (NER), часть тегинга (POS) и классификация.
• Встроенное обучение трансфера . Кашгари встроенные модели BERT и Word2VEC встраивались, что очень простым для передачи обучения для обучения вашей модели.
• Полностью масштабируемый . Кашгари обеспечивает простую, быструю и масштабируемую среду для быстрых экспериментов, обучает свои модели и экспериментируйте с новыми подходами, используя различные встроенные и структуру модели.
• Производство готово . Кашгари мог бы экспортировать модель с помощью формата SavedModel для Tensorflow Forming, вы можете напрямую развернуть ее в облаке.

Наша цель

• Академические пользователи легче экспериментировать, чтобы доказать свою гипотезу без кодирования с нуля.
• Новички NLP узнают, как создать проект NLP с качеством кода производственного уровня.
• Разработчики NLP создают модель классификации/маркировки уровня производственного уровня в течение нескольких минут.

Производительность

Добро пожаловать, чтобы добавить отчет о производительности.

Задача	Язык	Набор данных	Счет
Названное признание сущности	китайский	Народную ежедневную корпус NER	95,57
Текстовая классификация	китайский	SMP2018ECDTCORPUS	94,57

Установка

Проект основан на Python 3.6+, потому что это намек на 2019 год, а намек типа - это круто.

Бэкэнд	Кашгари версия	посягательство
Tensorflow 2.2+	pip install 'kashgari>=2.0.2'	TF2.10+ с tf.keras
Tensorflow 1.14+	pip install 'kashgari>=1.0.0,<2.0.0'	TF1.14+ с tf.keras
Керас	pip install 'kashgari<1.0.0'	Керас версия

Вы также должны установить tensorflow_addons с Tensorflow.

Tensorflow версия	Версия tensorflow_addons
Tensorflow 2.1	pip install tensorflow_addons==0.9.1
Tensorflow 2.2	pip install tensorflow_addons==0.11.2
Tensorflow 2.3, 2,4, 2,5	pip install tensorflow_addons==0.13.0

Учебные пособия

Вот набор быстрых учебных пособий, чтобы вы начали с библиотекой:

• Учебное пособие 1: Текстовая классификация
• Учебное пособие 2: текстовая маркировка
• Учебник 3: SEQ2SEQ
• Учебное пособие 4: Языковая встраиваемая

Есть также статьи и посты, которые иллюстрируют, как использовать Кашгари:

• 基于 Кашгари 2 的短文本分类: 数据分析和预处理
• 基于 Кашгари 2 的短文本分类: 训练模型和调优
• 基于 Кашгари 2 的短文本分类: 模型部署
• 15 分钟搭建中文文本分类模型
• 基于 Берт 的中文命名实体识别 (NER)
• Берт/Эрни 文本分类和部署
• 五分钟搭建一个基于 Берт 的 ner 模型
• Классификация текста с несколькими классами с Кашгари за 15 минут

Примеры:

• Перевод нейронной машины с seq2seq

Участники

Спасибо этим замечательным людям. И есть много способов принять участие. Начните с руководящих принципов участника, а затем проверьте эти открытые проблемы для конкретных задач.