attention is all you need pytorch

您只需要注意：Pytorch實施

這是“您需要的注意力”中變壓器模型的Pytorch實現（Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Llion Jones，Aidan N. Gomez，Lukasz Kaiser，Lukasz Kaiser，Illia Polosukhin，Arxiv，Arxiv，2017年）。

序列框架的新序列利用自我發項機制，而不是卷積操作或經常性結構，並實現WMT 2014英語對德語翻譯任務的最新性能。 （2017/06/12）

官方的TensorFlow實現可在以下方面找到：TensorFlow/Tensor2Tensor。

要了解有關自我發揮機制的更多信息，您可以閱讀“嵌入結構化的自我指導句子”。

現在，通過訓練有素的模型支持培訓和翻譯。

請注意，該項目仍在進行中。

與BPE相關的零件尚未完全測試。

如果有任何建議或錯誤，請隨時解僱一個問題，讓我知道。 :)

用法

WMT'16多模式翻譯：DE-EN

WMT'16多模式翻譯任務的培訓示例（http://www.statmt.org/wmt16/multimodal-task.html）。

0）下載Spacy語言模型。

 # conda install -c conda-forge spacy 
python -m spacy download en
python -m spacy download de

1）用火炬和spacy進行預處理數據。

python preprocess.py -lang_src de -lang_trg en -share_vocab -save_data m30k_deen_shr.pkl

2）訓練模型

python train.py -data_pkl m30k_deen_shr.pkl -log m30k_deen_shr -embs_share_weight -proj_share_weight -label_smoothing -output_dir output -b 256 -warmup 128000 -epoch 400

3）測試模型

python translate.py -data_pkl m30k_deen_shr.pkl -model trained.chkpt -output prediction.txt

[（WIP）] WMT'17多模式翻譯：de-en w/ bpe

1）使用BPE下載並預處理數據：

由於接口不是統一的，因此您需要將主函數調用從main_wo_bpe切換到main 。

python preprocess.py -raw_dir /tmp/raw_deen -data_dir ./bpe_deen -save_data bpe_vocab.pkl -codes codes.txt -prefix deen

2）訓練模型

python train.py -data_pkl ./bpe_deen/bpe_vocab.pkl -train_path ./bpe_deen/deen-train -val_path ./bpe_deen/deen-val -log deen_bpe -embs_share_weight -proj_share_weight -label_smoothing -output_dir output -b 256 -warmup 128000 -epoch 400

3）測試模型（尚未準備就緒）

• 托多：
  • 負載詞彙。
  • 翻譯後執行解碼。

---

表現

訓練

• 參數設置：
  • 批次尺寸256
  • 熱身步驟4000
  • Epoch 200
  • lr_mul 0.5
  • 標籤平滑
  • 不要應用BPE和共享詞彙
  • 目標嵌入 /前智能線性層的重量共享。

測試

• 即將推出。

---

托多

• 對生成文本的評估。
• 注意重量圖。

---

致謝

• 字節對編碼零件是從子詞-NMT借來的。
• 項目結構，某些腳本和數據集預處理步驟是從OpenNMT/OpenNMT-PY借來的。
• 感謝@srush，@iamalbert，@zessay，@julesgm，@zijianzhao和@huanghoujing的建議。