BERT pytorch скачать - загрузка исходного кода BERT pytorch

BERT pytorch

Другой исходный код

1.0.0

Скачать

Берт-Питорх

Реализация Pytorch Bert Google AI 2018 с простым аннотацией

BERT 2018 BERT: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка URL: https://arxiv.org/abs/1810.04805

Введение

Google AI Bert Paper показывает удивительный результат по различным задачам NLP (новые 17 задач NLP SOTA), в том числе опередить оценку человека F1 в команде V1.1 QA. В этом документе доказано, что энкодер на основе трансформатора (самопринятого) может быть мощно использован в качестве альтернативы предыдущей языковой модели с правильным методом обучения модели языка. И что еще более важно, они показали нам, что эта предварительно обученная языковая модель может быть передана в любую задачу NLP без создания архитектуры модели конкретной задачи.

Этот удивительный результат будет записью в истории НЛП, и я ожидаю, что много дополнительных документов о Берте будет опубликовано очень скоро.

Это репо является реализацией Берта. Код очень прост и легко понять. Некоторые из этих кодов основаны на аннотированном трансформаторе

В настоящее время этот проект работает над прогрессом. И код еще не проверен.

Установка

 pip install bert-pytorch

QuickStart

Примечание: ваш корпус должен быть подготовлен с двумя предложениями в одной строке с разделителем вкладок ( t)

0. Подготовьте свой корпус

 Welcome to the t the junglen
I can stay t here all nightn

или токенизированный корпус (токенизация не в упаковке)

 Wel_ _come _to _the t _the _junglen
_I _can _stay t _here _all _nightn

1. Строительство слока на основе вашего корпуса

bert-vocab -c data/corpus.small -o data/vocab.small

2. Тренируйте свою собственную модель Bert

bert -c data/corpus.small -v data/vocab.small -o output/bert.model

Языковая модель перед тренировкой

В статье авторы показывают новые методы обучения модели языка, которые представляют собой «модель маскированного языка» и «прогнозируют следующее предложение».

Модель в масках

Оригинальная статья: 3.3.1 Задача № 1: маскированная LM

 Input Sequence  : The man went to [MASK] store with [MASK] dog
Target Sequence :                  the                his

Правила:

Случайно 15% токена ввода будет изменена на что-то, основываясь на подтолетах

Случайно 80% токенов, будет токеном [MASK]
Случайно 10% токенов, будет [RANDOM] токеном (другое слово)
Случайно 10% токенов останутся такими же. Но нужно быть предсказанным.

Предсказать следующее предложение

Оригинальная статья: 3.3.2 Задача № 2: Предсказание следующего предложения

 Input : [CLS] the man went to the store [SEP] he bought a gallon of milk [SEP]
Label : Is Next

Input = [CLS] the man heading to the store [SEP] penguin [MASK] are flight ##less birds [SEP]
Label = NotNext

"Это предложение может быть непрерывно связано?"

Понимание отношений между двумя текстовыми предложениями, которые напрямую не отражаются на языковом моделировании