attention is all you need pytorch

Aufmerksamkeit ist alles, was Sie brauchen: eine Pytorch -Implementierung

Dies ist eine Pytorch -Implementierung des Transformatormodells in "Aufmerksamkeit ist alles, was Sie brauchen" (Ashish Vaswani, Noam SHAZEER, NIKI Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, Arxiv, 2017).

Eine neuartige Sequenz-zu-Sequenz-Framework verwendet den Selbstbekämpfungsmechanismus anstelle des Faltungsbetriebs oder der wiederkehrenden Struktur und erreicht die hochmoderne Leistung bei der Übersetzungsaufgabe von WMT 2014 . (2017/06/12)

Die offizielle Tensorflow -Implementierung finden Sie in: TensorFlow/Tensor2tensor.

Um mehr über den Selbstbekämpfungsmechanismus zu erfahren, konnten Sie "eine strukturierte Selbstanatterungsstrafe" lesen.

Das Projektunterstützungstraining und die Übersetzung mit geschultem Modell jetzt.

Beachten Sie, dass dieses Projekt noch in Arbeit ist.

BPE -verwandte Teile sind noch nicht vollständig getestet.

Wenn es einen Vorschlag oder einen Fehler gibt, können Sie ein Problem damit abfeuern, um mich wissen zu lassen. :)

Verwendung

Wmt'16 Multimodale Übersetzung: De-en

Ein Beispiel für das Training für die multimodale Übersetzungsaufgabe von WMT'16 (http://www.statmt.org/wmt16/multimodal-task.html).

0) Laden Sie das Spacy -Sprachmodell herunter.

 # conda install -c conda-forge spacy 
python -m spacy download en
python -m spacy download de

1) Die Daten mit Torchtext und Spacy vorarbeiten.

python preprocess.py -lang_src de -lang_trg en -share_vocab -save_data m30k_deen_shr.pkl

2) Trainieren Sie das Modell

python train.py -data_pkl m30k_deen_shr.pkl -log m30k_deen_shr -embs_share_weight -proj_share_weight -label_smoothing -output_dir output -b 256 -warmup 128000 -epoch 400

3) Testen Sie das Modell

python translate.py -data_pkl m30k_deen_shr.pkl -model trained.chkpt -output prediction.txt

[(WIP)] Wmt'17 Multimodale Übersetzung: de-en w/ bpe

1) Laden Sie die Daten mit BPE herunter:

Da die Schnittstellen nicht einheitlich sind, müssen Sie den Hauptfunktionsaufruf von main_wo_bpe auf main wechseln.

python preprocess.py -raw_dir /tmp/raw_deen -data_dir ./bpe_deen -save_data bpe_vocab.pkl -codes codes.txt -prefix deen

2) Trainieren Sie das Modell

python train.py -data_pkl ./bpe_deen/bpe_vocab.pkl -train_path ./bpe_deen/deen-train -val_path ./bpe_deen/deen-val -log deen_bpe -embs_share_weight -proj_share_weight -label_smoothing -output_dir output -b 256 -warmup 128000 -epoch 400

3) Testen Sie das Modell (nicht bereit)

• Todo:
  • Lastvokabular.
  • Dekodieren nach der Übersetzung durchführen.

---

Leistung

Ausbildung

• Parametereinstellungen:
  • Stapelgröße 256
  • Aufwärmen Schritt 4000
  • Epoche 200
  • LR_MUL 0.5
  • Etikettierung der Glättung
  • Wenden Sie BPE und gemeinsame Vokabular nicht an
  • Target-Einbettung / Pre-SoftMax Linear Layer Gewichtsaugende.

Testen

• bald kommen.

---

Todo

• Bewertung des generierten Textes.
• Aufmerksamkeitsgewicht.

---

Anerkennung

• Die Byte-Paar-Codierungsteile werden von Subword-NMT ausgeliehen.
• Die Projektstruktur, einige Skripte und die Datensatzvorbereitungsschritte werden stark von OpenNMT/OpenNMT-Py entlehnt.
• Vielen Dank für die Vorschläge von @srush, @iamalbert, @Zessay, @julesgm, @zijianzhao und @huanghoujing.