gated Transformer

게이트 트랜스 포어

강력한 거부 시퀀스-시퀀스 모델링을위한 게이트 사전 트랜스포머 모델. 게이팅 장치를 사용하여 텍스트 데이터에서 소음을 감지하고 수정하고 생성 디코더로부터 탈신 대상을 생성합니다.

이 작업에서 우리는 세 가지 작업에 대한 실험을 수행합니다.

• 거부 된 텍스트를 비난합니다
• 거부 된 기계 번역
• 거부 요약 요약

게이트 변환기는 효과적입니다.

• OCR 소음
• 무작위 철자 실수
• 키보드 기반 소음
• 삽입, 삭제, 기반 소음 교환

실험 설치

 $ pip install -r requirements.txt

실행하라는 명령

거부자 훈련

사전 배치 된 변압기 시퀀스-시퀀스 모델 (예 : Bart, T5)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

트랜스포머 인코더 디코더 모델 (예 : Bert2bert)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

추론

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 

소환

이 repo가 ​​유용하다고 생각되면 우리 논문을 인용하십시오.

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}