الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

UnifiedSkg: كتب :: توحيد ومهام متعددة المعرفة منظمة مع نماذج لغة من النص إلى نص نص


رمز لـ EMNLP 2022 (عن طريق الفم) الورق UnifiedSKG: توحيد ومهام المعرفة منظم مع نماذج لغة من النص إلى نص. يرجى الرجوع إلى صفحة المشروع الخاصة بنا للحصول على موارد محدثة ذات صلة (على سبيل المثال ، الأوراق ، الرمز ، الأدوات ، البرامج التعليمية) لتأسيس المعرفة المنظمة. قم بتحميل نقاط التفتيش الخاصة بنا من Huggingface Model Hub.

نظرة عامة على هيكل الكود من unifiedskg 

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

أضف مهمة جديدة إلى UnifiedSkg

(readmes in ./tasks ، ./seq2seq_construction ، ./metrics ، ./configure يمكن أن يكون مفيدًا أيضًا)

  1. أضف "محملًا" من البيانات الأولية تحت ./tasks . يمكنك البحث عن مجموعات بيانات HuggingFace للحصول على نصوص مفيدة. إذا لم يكن الأمر كذلك ، يمكنك أن تكون المساهم في كل من هذا المشروع ومجتمع Huggingface.
  2. أضف "غلاف التسلسل" تحت ./seq2seq_construction لإنشاء مدخلات تسلسل (طلب المستخدم والمعرفة المنظمة) وترابط المخرجات من البيانات الأولية لتوحيد.
  3. أضف "المقيِّم" لمهمتك تحت ./metrics . إذا تم استخدام مستودع الطرف الثالث ، تذكر أن تضيفه إلى .gitmodules.
  4. (اختياري) يمكنك إضافة "طراز" جديد تحت ./models لهندسة نموذجية جديدة أو خوارزمية تعليمية جديدة.
  5. أضف ملف تكوين لمهمتك ضمن ./configure/META_TUNING .
  6. أضف ملف تكوين لكل من تجربتك تحت ./configure/Salesforce .

متفرقات

  • نحن نسمي diretory لملفات التكوين التجريبية كـ Salesforce لأننا نود أن نشكر أبحاث Salesforce على توفير عدد كبير من وحدات معالجة الرسومات. نود أيضًا أن نشكر جوائز Amazon Research Awards و Servicenow Research و Yale NLP على توفير موارد الحوسبة بسخاء.
  • ./models/unified/combined_prefixtuning.py لا يستخدم في ورقتنا. يحتوي هذا الملف على رمز للتفاعل بين البادئات المتعددة في حلقة تدريب واحدة. لقد جربنا بعض المتغيرات من هذا التفاعل ، لكننا لم نجد أيًا منها يتفوق على النهج القائم على التعلم (البسيط للغاية) المستخدم في ورقتنا. ومع ذلك ، فإننا نفتح محاولاتنا الفاشلة وندعو إلى استكشاف مستقبلي محتمل.

هذا كل شيء من أجله: د

اقتباس

إذا وجدت عملنا مفيدًا ، يرجى الاستشهاد 

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

المساهمين

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل