gated Transformer

закрытый трансформатор

Закрытая модель трансформатора для надежного денированного моделирования последовательности к последовательности. Он использует стробирующую единицу для обнаружения и правила звуков из текстовых данных и генерации цели с разбитой с генеративным декодером.

В этой работе мы проводим наш эксперимент по трем задачам -

• Обезвреживание корпулированного текста
• Обеспеченный машинный перевод
• Denoise Summarization

Закаченный трансформатор показан эффективным на -

• OCR шум
• Случайные орфографические ошибки
• Клавиатура звуки
• Вставка, удаление, обмена шумами на основе

Установка для экспериментов

 $ pip install -r requirements.txt

Команды для запуска

Обучение денузера

Предварительная модель трансформатора к последовательности (например, Bart, T5)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Модель энкодера трансформатора (например, Bert2bert)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Вывод

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 

Цитирование

Если вы найдете это репо полезным, пожалуйста, укажите нашу статью:

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}