TextGAN PyTorch

Textgan-Pytorch

TextGan是基于生成对抗网络（GAN）的文本生成模型的Pytorch框架，包括一般文本生成模型和类别文本生成模型。 TextGan是一个基准平台，以支持基于GAN的文本生成模型的研究。由于大多数基于GAN的文本生成模型都是由TensorFlow实现的，因此TextGan可以帮助那些习惯于Pytorch更快地输入文本生成字段的人。

如果您在实施中发现任何错误，请告诉我！另外，如果您想添加其他型号，请随时为此存储库做出贡献。

要求

• pytorch> = 1.1.0
• Python 3.6
• Numpy 1.14.5
• CUDA 7.5+（用于GPU）
• NLTK 3.4
• TQDM 4.32.1
• Kenlm（https://github.com/kpu/kenlm）

要安装，请运行pip install -r requirements.txt 。如果出现CUDA问题，请咨询官方Pytorch入门指南。

Kenlm安装

• 下载稳定版本和UNZIP：http：//kheaffield.com/code/kenlm.tar.gz

• 需要提升> = 1.42.0和BJAM

  • ubuntu： sudo apt-get install libboost-all-dev
  • MAC： brew install boost; brew install bjam

• 在Kenlm目录中运行：

  mkdir -p build
  cd build
  cmake ..
  make -j 4

• pip install https://github.com/kpu/kenlm/archive/master.zip

• 有关KENLM的更多信息，请参见：https：//github.com/kpu/kenlm和http://kheaffield.com/code/kenlm/

实施模型和原始论文

一般文字生成

• Seqgan -Seqgan：带有策略梯度的序列生成对抗网
• Leakgan-通过对抗培训的长文字生成，并泄漏信息
• 马里甘- 最大样本增强的离散生成对抗网络
• JSDGAN-没有明确神经网络作为歧视者的对抗性离散序列生成
• Relgan -Relgan：文本生成的关系生成对抗网络
• DPGAN -DP-GAN：多样性促进生成对抗网络，用于产生信息和多元化的文本
• DGSAN -DGSAN：离散生成的自我分类网络
• COT- COT：离散数据生成建模的合作培训

类别文本生成

• Sentigan -Sentigan：通过混合对抗网络生成情感文本
• catgan （我们的） - catgan：类别感知的生成对抗网络，具有分层进化学习的类别文本生成

开始

• 开始

git clone https://github.com/williamSYSU/TextGAN-PyTorch.git
cd TextGAN-PyTorch

• 对于真实的数据实验，可以从此处下载所有数据集（ Image COCO ， EMNLP NEWs ， Movie Review ， Amazon Review ）。
• 使用特定模型运行

 cd run
python3 run_[model_name].py 0 0	# The first 0 is job_id, the second 0 is gpu_id

# For example
python3 run_seqgan.py 0 0

特征

1. 讲师

   对于每个模型，整个运行过程均在instructor/oracle_data/seqgan_instructor.py中定义。 （例如，在合成数据实验中以Seqgan为例）。 init_model()和optimize()之类的一些基本功能是在instructor.py中的基类BasicInstructor中定义的。如果要添加新的基于GAN的文本生成模型，请在instructor/oracle_data下创建新的讲师，并为模型定义培训过程。

2. 可视化

   使用utils/visualization.py可视化日志文件，包括模型丢失和指标得分。在log_file_list中自定义日志文件，不超过len(color_list) 。日志文件名应排除.txt 。

3. 记录

   TextGan-Pytorch使用Python中的logging模块来记录运行过程，例如发电机的损失和度量分数。为了方便可视化，将分别保存两个相同的日志文件log/log_****_****.txt和save/**/log.txt 。此外，该代码将自动保存模型的状态和在./save/**/models和./save/models and ./save/**/samples中的批处理大小，每个日志步骤，其中**取决于您的hyper-parameters。

4. 运行信号

   您可以根据字典文件run_signal.txt轻松地使用类Signal （请参阅utils/helpers.py ）来控制训练过程。

   对于使用Signal ，只需编辑本地文件run_signal.txt ，然后将pre_sig设置为Fasle ，该程序将停止训练过程并逐步进入下一个训练阶段。如果您认为当前的培训足够，则很方便地停止培训。

5. 自动选择GPU

   在config.py中，该程序将自动在nvidia-smi中选择具有最小GPU-Util的GPU设备。默认情况下启用了此功能。如果要手动选择GPU设备，请在run_[run_model].py中取消点击--device args，并用命令指定GPU设备。

实施详细信息

Seqgan

• 运行文件：run_seqgan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（来自Seqgan）

  

泄漏

• 运行文件：run_leakgan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（来自Leakgan）

  

马里根

• 运行文件：run_maligan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（从我的理解中）

  

jsdgan

• 运行文件：run_jsdgan.py

• 讲师：oracle_data，real_data

• 模型：生成器（无歧视器）

• 结构（从我的理解中）

  

Relgan

• 运行文件：run_relgan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（从我的理解中）

  

dpgan

• 运行文件：run_dpgan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（来自DPGAN）

  

DGSAN

• 运行文件：run_dgsan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

婴儿床

• 运行文件：run_cot.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（来自COT）

  

哲

• 运行文件：run_sentigan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（来自Sentigan）

  

猫

• 运行文件：run_catgan.py

• 讲师：oracle_data，real_data

• 模型：生成器，歧视器

• 结构（来自Catgan）

  

执照

麻省理工学院Lincense