former

以前的

簡單的變壓器實現從pytorch中的從頭開始。請參閱http://peterbloem.nl/blog/transformers，以獲取內置說明。

限制

此處實施的模型旨在顯示變壓器模型和自我注意力的簡單性。因此，它們不會擴展到更大的變壓器。為此，您需要許多使代碼複雜化的技巧（有關詳細信息，請參見博客文章）。

存儲庫中的所有模型均由一個變壓器塊的單個堆棧組成（即沒有編碼器/解碼器結構）。事實證明，這種簡單的配置通常最有效。

安裝和使用

首先，下載或克隆存儲庫。然後，在包含設置的目錄中，運行

 pip install -e . 

開關-e確保編輯代碼時，安裝打包也會更改。這意味著您可以在代碼中添加打印語句以查看其工作原理。

然後，從同一目錄中運行：

 python experiments/classify.py

這將在IMDB數據集上運行一個簡單的分類實驗。

超參數作為命令行參數傳遞。默認值應該很好。分類數據將自動下載，Wikipedia數據包含在存儲庫中。

要求

需要Python 3.6+。上面的PIP命令應安裝所有必需的軟件包。您可能還需要根據精確的Python版本來pip install future 。

康達環境

文件environment.yml描述了具有所有依賴性的完整Conda環境。克隆或下載項目後，您將創建環境如下：

 conda env create -f environment.yml --name former
conda activate former