rnn.wgan

Generasi Bahasa dengan Jaringan Perselisihan Generatif Berulang Tanpa Pra-Pelatihan

Kode untuk pelatihan dan evaluasi model dari "pembuatan bahasa dengan jaringan permusuhan generatif berulang tanpa pra-pelatihan".

Ringkasan singkat dari makalah ini tersedia di sini.

Output sampel (32 chars)

 " There has been to be a place w
On Friday , the stories in Kapac
From should be taken to make it 
He is conference for the first t
For a lost good talks to ever ti

Pelatihan

Untuk mulai melatih model Cl+Vl+th, pertama unduh dataset, tersedia di http://www.statmt.org/lm-benchmark/, dan ekstrak ke dalam direktori ./data .

Kemudian gunakan perintah berikut:

 python curriculum_training.py

Paket berikut diperlukan:

• Python 2.7
• TensorFlow 1.1
• SCIPY
• Matplotlib

Parameter berikut dapat dikonfigurasi:

 LOGS_DIR: Path to save model checkpoints and samples during training (defaults to './logs/')
DATA_DIR: Path to load the data from (defaults to './data/1-billion-word-language-modeling-benchmark-r13output/')
CKPT_PATH: Path to checkpoint file when restoring a saved model
BATCH_SIZE: Size of batch (defaults to 64)
CRITIC_ITERS: Number of iterations for the discriminator (defaults to 10)
GEN_ITERS: Number of iterations for the geneartor (defaults to 50)
MAX_N_EXAMPLES: Number of samples to load from dataset (defaults to 10000000)
GENERATOR_MODEL: Name of generator model (currently only 'Generator_GRU_CL_VL_TH' is available)
DISCRIMINATOR_MODEL: Name of discriminator model (currently only 'Discriminator_GRU' is available)
PICKLE_PATH: Path to PKL directory to hold cached pickle files (defaults to './pkl')
ITERATIONS_PER_SEQ_LENGTH: Number of iterations to run per each sequence length in the curriculum training (defaults to 15000)
NOISE_STDEV: Standard deviation for the noise vector (defaults to 10.0)
DISC_STATE_SIZE: Discriminator GRU state size (defaults to 512)
GEN_STATE_SIZE: Genarator GRU state size (defaults to 512)
TRAIN_FROM_CKPT: Boolean, set to True to restore from checkpoint (defaults to False)
GEN_GRU_LAYERS: Number of GRU layers for the genarator (defaults to 1)
DISC_GRU_LAYERS: Number of GRU layers for the discriminator (defaults to 1)
START_SEQ: Sequence length to start the curriculum learning with (defaults to 1)
END_SEQ: Sequence length to end the curriculum learning with (defaults to 32)
SAVE_CHECKPOINTS_EVERY: Save checkpoint every # steps (defaults to 25000)
LIMIT_BATCH: Boolean that indicates whether to limit the batch size  (defaults to true)

Parameter dapat diatur dengan mengubah nilainya di file konfigurasi atau dengan menyerahkannya di terminal:

 python curriculum_training.py --START_SEQ=1 --END_SEQ=32

Menghasilkan teks

Script generate.py akan menghasilkan sampel BATCH_SIZE menggunakan model yang disimpan. Ini harus dijalankan menggunakan parameter yang digunakan untuk melatih model (jika mereka berbeda dari nilai default). Misalnya:

 python generate.py --CKPT_PATH=/path/to/checkpoint/seq-32/ckp --DISC_GRU_LAYERS=2 --GEN_GRU_LAYERS=2

(Jika model Anda belum mencapai tahap 32 dalam kurikulum, pastikan untuk mengubah '32' di jalur di atas ke tahap maksimal dalam kurikulum yang dilatih model Anda.)

Mengevaluasi teks

Untuk mengevaluasi sampel menggunakan metrik %-in-test-n kami, gunakan perintah berikut, menautkan ke file txt di mana setiap baris adalah sampel:

 python evaluate.py --INPUT_SAMPLE=/path/to/samples.txt

Referensi

Jika Anda menemukan kode ini bermanfaat, silakan mengutip makalah berikut:

 @article{press2017language,
  title={Language Generation with Recurrent Generative Adversarial Networks without Pre-training},
  author={Press, Ofir and Bar, Amir and Bogin, Ben and Berant, Jonathan and Wolf, Lior},
  journal={arXiv preprint arXiv:1706.01399},
  year={2017}
}

Ucapan Terima Kasih

Repositori ini didasarkan pada kode yang diterbitkan dalam pelatihan yang lebih baik dari Wasserstein Gans.