rnn.wgan
1.0.0
Code für das Training und die Bewertung des Modells aus "Sprachgenerierung mit wiederkehrenden generativen kontroversen Netzwerken ohne Vorversion".
Hier ist eine kurze Zusammenfassung des Papiers erhältlich.
" There has been to be a place w
On Friday , the stories in Kapac
From should be taken to make it
He is conference for the first t
For a lost good talks to ever ti
Um das CL+VL+TH-Modell mit dem Training zu beginnen, laden Sie zuerst den Datensatz herunter, der unter http://www.statmt.org/lm-autchmark/ verfügbar ist, und extrahieren Sie es in das Verzeichnis ./data .
Verwenden Sie dann den folgenden Befehl:
python curriculum_training.py
Die folgenden Pakete sind erforderlich:
Die folgenden Parameter können konfiguriert werden:
LOGS_DIR: Path to save model checkpoints and samples during training (defaults to './logs/')
DATA_DIR: Path to load the data from (defaults to './data/1-billion-word-language-modeling-benchmark-r13output/')
CKPT_PATH: Path to checkpoint file when restoring a saved model
BATCH_SIZE: Size of batch (defaults to 64)
CRITIC_ITERS: Number of iterations for the discriminator (defaults to 10)
GEN_ITERS: Number of iterations for the geneartor (defaults to 50)
MAX_N_EXAMPLES: Number of samples to load from dataset (defaults to 10000000)
GENERATOR_MODEL: Name of generator model (currently only 'Generator_GRU_CL_VL_TH' is available)
DISCRIMINATOR_MODEL: Name of discriminator model (currently only 'Discriminator_GRU' is available)
PICKLE_PATH: Path to PKL directory to hold cached pickle files (defaults to './pkl')
ITERATIONS_PER_SEQ_LENGTH: Number of iterations to run per each sequence length in the curriculum training (defaults to 15000)
NOISE_STDEV: Standard deviation for the noise vector (defaults to 10.0)
DISC_STATE_SIZE: Discriminator GRU state size (defaults to 512)
GEN_STATE_SIZE: Genarator GRU state size (defaults to 512)
TRAIN_FROM_CKPT: Boolean, set to True to restore from checkpoint (defaults to False)
GEN_GRU_LAYERS: Number of GRU layers for the genarator (defaults to 1)
DISC_GRU_LAYERS: Number of GRU layers for the discriminator (defaults to 1)
START_SEQ: Sequence length to start the curriculum learning with (defaults to 1)
END_SEQ: Sequence length to end the curriculum learning with (defaults to 32)
SAVE_CHECKPOINTS_EVERY: Save checkpoint every # steps (defaults to 25000)
LIMIT_BATCH: Boolean that indicates whether to limit the batch size (defaults to true)
Parameter können festgelegt werden, indem entweder deren Wert in der Konfigurationsdatei geändert wird oder diese in der Terminal übergeben:
python curriculum_training.py --START_SEQ=1 --END_SEQ=32
Das Skript generate.py generiert mithilfe eines gespeicherten Modells BATCH_SIZE -Beispiele. Es sollte unter Verwendung der Parameter ausgeführt werden, die zum Trainieren des Modells verwendet werden (wenn es sich von den Standardwerten unterscheidet). Zum Beispiel:
python generate.py --CKPT_PATH=/path/to/checkpoint/seq-32/ckp --DISC_GRU_LAYERS=2 --GEN_GRU_LAYERS=2
(Wenn Ihr Modell Stufe 32 im Lehrplan nicht erreicht hat, ändern Sie die "32" im obigen Pfad in die maximale Stufe im Lehrplan, auf dem Ihr Modell trainiert wurde.)
Verwenden Sie den folgenden Befehl, um die Proben mithilfe unserer %-in-Test-N-Metriken zu bewerten, um mit einer TXT-Datei zu verknüpfen, in der jede Zeile ein Beispiel ist:
python evaluate.py --INPUT_SAMPLE=/path/to/samples.txt
Wenn Sie diesen Code nützlich fanden, zitieren Sie bitte das folgende Papier:
@article{press2017language,
title={Language Generation with Recurrent Generative Adversarial Networks without Pre-training},
author={Press, Ofir and Bar, Amir and Bogin, Ben and Berant, Jonathan and Wolf, Lior},
journal={arXiv preprint arXiv:1706.01399},
year={2017}
}
Dieses Repository basiert auf dem Code, der in der verbesserten Ausbildung von Wasserstein Gans veröffentlicht wurde.
