الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

نمذجة اللغة الوعرة للسياق لأنظمة الحوار الموجهة إلى الأهداف

الكود الرسمي للورقة "نمذجة اللغة المدركة للسياق لأنظمة الحوار الموجهة نحو الأهداف"

موقع المشروع | arxiv

يثبت

  1. إنشاء بيئة كوندا: conda create --name CALM python=3.9.7
  2. تنشيط بيئة كوندا: conda activate CALM
  3. التثبيت متطلبات: pip install -r requirements.txt
  4. تثبيت Pytorch 1.9.0: conda install pytorch==1.9.0 cudatoolkit=11.3 -c pytorch -c conda-forge
  5. export PYTHONPATH="$PWD/offline_airdialogue"
  6. قم بتنزيل البيانات المصنعة ونقاط التفتيش النموذجية هنا. يحتوي outputs/ المجلد على نقاط تفتيش لنموذجنا الرئيسي ، ونموذجنا المسبق للمهمة ، وروبوت العملاء لدينا.

تمرين

(ملاحظة: تستخدم جميع عمليات التدريب WANDB افتراضيًا ، يمكنك إيقاف مزامنة WANDB في التكوين.)

  • cd scripts/train

  • لتشغيل تدريب متعدد GPU المتوازي للبيانات ، على أي من الأوامر أدناه ، استبدل python <script_path> بـ python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env <script_path> .

  • هدوء ما قبل
    (نوعان من دالة الخسارة الإضافية)

    • البرنامج النصي: python train_pretrain_table_agent.py
      التكوين: config/train_pretrain_table_agent.yaml

    • البرنامج النصي: python train_pretrain_simplified_aux_gpt2.py
      config: config/train_pretrain_simplified_aux_gpt2.yaml

  • تدريب روبوت العميل

    • البرنامج النصي: python train_customer.py
      التكوين: config/train_customer_bot.yaml

  • هدوء التدريب
    (نوعان من دالة الخسارة الإضافية)

    • البرنامج النصي: python train_real_table_agent.py
      التكوين: config/train_real_table_agent.yaml

    • البرنامج النصي: python train_simplified_aux_gpt2.py
      config: config/train_simplified_aux_agent.yaml

  • التدريب المعيار LM

    • البرنامج النصي: python train_basic_agent.py
      التكوين: config/train_basic_agent.yaml

  • تدريب نموذج المكافآت للتخطيط المعتمد على النموذج

    • البرنامج النصي: python train_constraint_parser.py
      التكوين: config/train_constraint_parser.yaml

التقييم

  • cd scripts/eval

  • تقييم محاكاة

    • البرنامج النصي: python selfplay_eval.py
      التكوين: config/selfplay_eval.yaml

      • سيتم حفظ سجل النتائج في الموقع المحدد بواسطة selfplay/outputs_file في التكوين. لطباعة معدل نجاح تشغيل SelfPlay: python compute_results.py --results_file <your_eval_outputs_file>

      • ملاحظة: سيقوم تقييم SelfPlay افتراضيًا باستخدام جميع وحدات معالجة الرسومات المتوفرة على جهازك. لتحديد أي وحدات معالجة الرسومات التي يجب استخدامها ، بادئة الأمر مع CUDA_VISIBLE_DEVICES=<comma_seperated_list_of_gpu_indicies>

  • تقييم جودة اللغة

    • البرنامج النصي: python language_quality_eval.py
      التكوين: config/language_eval.yaml

      • لموازنة التقييم عبر على GPUs متعددة ، Run: python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env language_quality_eval.py
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل