الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

توليد اللغة مع شبكات عدوانية متكررة دون التدريب قبل التدريب

رمز لتدريب وتقييم النموذج من "توليد اللغة مع شبكات الخصومة التوليدية المتكررة دون التدريب المسبق".

يتوفر ملخص قصير للورقة هنا.

عينة مخرجات (32 chars) 

 " There has been to be a place w
On Friday , the stories in Kapac
From should be taken to make it 
He is conference for the first t
For a lost good talks to ever ti

تمرين

لبدء تدريب نموذج CL+VL+TH ، قم أولاً بتنزيل مجموعة البيانات ، المتوفرة على http://www.statmt.org/lm-benchmark/ ، واستخراجها في دليل ./data .

ثم استخدم الأمر التالي: 

 python curriculum_training.py

الحزم التالية مطلوبة:

  • بيثون 2.7
  • Tensorflow 1.1
  • سكيبي
  • Matplotlib

يمكن تكوين المعلمات التالية: 

 LOGS_DIR: Path to save model checkpoints and samples during training (defaults to './logs/')
DATA_DIR: Path to load the data from (defaults to './data/1-billion-word-language-modeling-benchmark-r13output/')
CKPT_PATH: Path to checkpoint file when restoring a saved model
BATCH_SIZE: Size of batch (defaults to 64)
CRITIC_ITERS: Number of iterations for the discriminator (defaults to 10)
GEN_ITERS: Number of iterations for the geneartor (defaults to 50)
MAX_N_EXAMPLES: Number of samples to load from dataset (defaults to 10000000)
GENERATOR_MODEL: Name of generator model (currently only 'Generator_GRU_CL_VL_TH' is available)
DISCRIMINATOR_MODEL: Name of discriminator model (currently only 'Discriminator_GRU' is available)
PICKLE_PATH: Path to PKL directory to hold cached pickle files (defaults to './pkl')
ITERATIONS_PER_SEQ_LENGTH: Number of iterations to run per each sequence length in the curriculum training (defaults to 15000)
NOISE_STDEV: Standard deviation for the noise vector (defaults to 10.0)
DISC_STATE_SIZE: Discriminator GRU state size (defaults to 512)
GEN_STATE_SIZE: Genarator GRU state size (defaults to 512)
TRAIN_FROM_CKPT: Boolean, set to True to restore from checkpoint (defaults to False)
GEN_GRU_LAYERS: Number of GRU layers for the genarator (defaults to 1)
DISC_GRU_LAYERS: Number of GRU layers for the discriminator (defaults to 1)
START_SEQ: Sequence length to start the curriculum learning with (defaults to 1)
END_SEQ: Sequence length to end the curriculum learning with (defaults to 32)
SAVE_CHECKPOINTS_EVERY: Save checkpoint every # steps (defaults to 25000)
LIMIT_BATCH: Boolean that indicates whether to limit the batch size  (defaults to true)

يمكن تعيين المعلمات إما عن طريق تغيير قيمتها في ملف التكوين أو عن طريق تمريرها في المحطة: 

 python curriculum_training.py --START_SEQ=1 --END_SEQ=32

توليد النص

سيقوم البرنامج النصي generate.py بإنشاء عينات BATCH_SIZE باستخدام نموذج محفوظ. يجب تشغيله باستخدام المعلمات المستخدمة لتدريب النموذج (إذا كانت مختلفة عن القيم الافتراضية). على سبيل المثال: 

 python generate.py --CKPT_PATH=/path/to/checkpoint/seq-32/ckp --DISC_GRU_LAYERS=2 --GEN_GRU_LAYERS=2

(إذا لم يصل النموذج الخاص بك إلى المرحلة 32 في المناهج الدراسية ، فتأكد من تغيير "32" في المسار أعلاه إلى المرحلة القصوى في المنهج الذي تدرب عليه النموذج الخاص بك.)

تقييم النص

لتقييم العينات باستخدام مقاييس النسبة المئوية الخاصة بنا ، استخدم الأمر التالي ، وربط ملف TXT حيث يكون كل صف عينة: 

 python evaluate.py --INPUT_SAMPLE=/path/to/samples.txt

مرجع

إذا وجدت هذا الرمز مفيدًا ، فيرجى الاستشهاد بالورقة التالية: 

 @article{press2017language,
  title={Language Generation with Recurrent Generative Adversarial Networks without Pre-training},
  author={Press, Ofir and Bar, Amir and Bogin, Ben and Berant, Jonathan and Wolf, Lior},
  journal={arXiv preprint arXiv:1706.01399},
  year={2017}
}

شكر وتقدير

يعتمد هذا المستودع على الكود المنشور في التدريب المحسّن لـ Wasserstein Gans.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل