former

以前的

简单的变压器实现从pytorch中的从头开始。请参阅http://peterbloem.nl/blog/transformers，以获取内置说明。

限制

此处实施的模型旨在显示变压器模型和自我注意力的简单性。因此，它们不会扩展到更大的变压器。为此，您需要许多使代码复杂化的技巧（有关详细信息，请参见博客文章）。

存储库中的所有模型均由一个变压器块的单个堆栈组成（即没有编码器/解码器结构）。事实证明，这种简单的配置通常最有效。

安装和使用

首先，下载或克隆存储库。然后，在包含设置的目录中，运行

 pip install -e . 

开关-e确保编辑代码时，安装打包也会更改。这意味着您可以在代码中添加打印语句以查看其工作原理。

然后，从同一目录中运行：

 python experiments/classify.py

这将在IMDB数据集上运行一个简单的分类实验。

超参数作为命令行参数传递。默认值应该很好。分类数据将自动下载，Wikipedia数据包含在存储库中。

要求

需要Python 3.6+。上面的PIP命令应安装所有必需的软件包。您可能还需要根据精确的Python版本来pip install future 。

康达环境

文件environment.yml描述了具有所有依赖性的完整Conda环境。克隆或下载项目后，您将创建环境如下：

 conda env create -f environment.yml --name former
conda activate former