LD Net

LD-сеть

Проверьте наш новый NER Toolkit

• Вывод :
  • Lightner : вывод w. Модели, предварительно обученные / обученные w. Любые следующие инструменты эффективно .
• Обучение :
  • LD-Net : Train NER Models w. эффективные контекстуализированные представления.
  • Vanillaner : Train Vanilla Ner Models w. Предварительно обученное внедрение.
• Отдаленная тренировка :
  • Autoner : Train NER Models Wo Line-Line Annotations и получайте конкурентную производительность.

---

LD-Net предоставляет модели маркировки последовательности с включением:

• Эффективность : создание эффективных контекстуализированных представлений без переподготовки языковых моделей.
• Портативность : хорошо организованная , легко модифицированная и хорошо документированная .

Примечательно, наша предварительно обученная модель NER достигнута:

• 92.08 Тест F1 на задаче Conll03 NER.
• Скорость декодирования 160 тыс. Слова/сек ( 6x ускорение по сравнению с исходной моделью).

Подробности о LD-NET можно получить по адресу: https://arxiv.org/abs/1804.07827.

• Примечания модели
• Тесты
• Предварительная модель
  • Языковые модели
  • Названное признание сущности
  • Канкинг
• Обучение
  • Зависимость
  • Данные
  • Модель
  • Командование
• Вывод
• Цитирование

Примечания модели

Тесты

Модель для conll03	#Flops	Среднее (F1)	Std (F1)
Ванильный ner wo lm	3 м	90.78	0,24
LD-Net (Wo Truning)	51 м	91.86	0,15
LD-Net (Origin, выбран на основе Dev F1)	51 м	91.95
LD-сеть (обрезка)	5 м	91.84	0,14

Модель для conll00	#Flops	Среднее (F1)	Std (F1)
Ванильный np wo lm	3 м	94,42	0,08
LD-Net (Wo Truning)	51 м	96.01	0,07
LD-Net (Origin, выбран на основе Dev F1)	51 м	96.13
LD-сеть (обрезка)	10 м	95,66	0,04

Предварительные модели

Здесь мы предоставляем как предварительно обученные языковые модели, так и модели предварительно обученной маркировки последовательности.

Языковые модели

Наша модель, предварительно расположенная языком, содержит встраивание слов, 10-слойную плотно связанную LSTM и Adiate Softmax, и достигает среднего PPL 50,06 в одном миллиардном наборе данных.

Модель прямого языка	Модель отсталого языка
Скачать ссылку	Скачать ссылку

Названное признание сущности

Оригинальный предварительно обученный названный объект Tagger достигает 91,95 F1, The Cruned Tagged достиг 92.08 F1.

Оригинальный теггер	Обрезанный Tagger
Скачать ссылку	Скачать ссылку

Канкинг

Оригинальный предварительно обученный названный объект Tagger достигает 96.13 F1, обрезка Tagged достиг 95,79 F1.

Оригинальный теггер	Обрезанный Tagger
Скачать ссылку	Скачать ссылку

Обучение

Демонстрационные сценарии

Чтобы обрезать оригинальный LD-сеть для Conll03, пожалуйста, запустите:

 bash ldnet_ner_prune.sh

Чтобы обрезать оригинальный LD-сеть для Conll00 Chunking, пожалуйста, запустите:

 bash ldnet_np_prune.sh

Зависимость

Наш пакет основан на Python 3.6 и на следующих пакетах:

 numpy
tqdm
torch-scope
torch==0.4.1

Данные

Предварительные сценарии доступны в pre_seq и pre_word_ada , в то время как предварительно обработанные данные были сохранены в:

Нор	Канкинг
Скачать ссылку	Скачать ссылку

Модель

Наши реализации доступны в model_seq и model_word_ada , а документации размещены в Readthedoc

Нор	Канкинг
Скачать ссылку	Скачать ссылку

Вывод

Для вывода модели, пожалуйста, проверьте наш пакет Lightner

Цитирование

Если вы обнаружите, что реализация полезной, пожалуйста, укажите следующую статью: Эффективное контекстуализированное представление: обрезка языковой модели для маркировки последовательности

 @inproceedings{liu2018efficient,
  title = "{Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling}", 
  author = {Liu, Liyuan and Ren, Xiang and Shang, Jingbo and Peng, Jian and Han, Jiawei}, 
  booktitle = {EMNLP}, 
  year = 2018, 
}