gated Transformer

Gated-Transformator

Gated PretRained Transformator-Modell für eine robuste Modellierung der Sequenz-zu-Sequenz-Modellierung. Es verwendet eine Gating-Einheit, um Geräusche aus Textdaten zu erkennen und zu korrigieren und aus einem generativen Decoder entnommenes Ziel zu generieren.

In dieser Arbeit führen wir unser Experiment an drei Aufgaben durch -

• Denoising Corruted Text
• Denoisierte maschinelle Übersetzung
• Denoise -Zusammenfassung

Gated -Transformator ist effektiv auf -

• OCR -Geräusch
• Zufällige Rechtschreibfehler
• Tastaturbasierte Geräusche
• Einfügen, Löschen, Swapping -Basisgeräusche

Installation für Experimente

 $ pip install -r requirements.txt

Befehle zum Ausführen

Einen Denoiser ausbilden

Vorbereitete Transformator-Sequenz-zu-Sequenz-Modell (z. B. Bart, T5)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Transformator Encoder -Decoder -Modell (z. B. Bert2bert)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Schlussfolgerung

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 

Zitat

Wenn Sie dieses Repo nützlich finden, zitieren Sie bitte unser Papier:

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}