UnifiedSKG

Unifiedskg: Buku :: menyatukan dan menyatukan pengetahuan pengetahuan terstruktur dengan model bahasa teks-ke-teks

Kode untuk EMNLP 2022 (oral) Paper UnifiedSKG: Mempersatukan dan multi-tasking pengetahuan terstruktur dengan model bahasa teks-ke-teks. Silakan merujuk ke halaman proyek kami untuk sumber daya terkait terkini (misalnya, makalah, kode, alat, tutorial) untuk landasan pengetahuan terstruktur. Muat pos pemeriksaan kami dari hub model HuggingFace.

Tinjauan Struktur Kode UnifiedSkg

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

Tambahkan tugas baru ke dalam UnifiedSkg

(Readmes in ./tasks , ./seq2seq_construction , ./metrics , ./configure juga dapat membantu)

1. Tambahkan "loader" data mentah di bawah ./tasks . Anda dapat mencari set data pelukan untuk skrip yang mungkin berguna. Jika tidak, Anda dapat menjadi kontributor dari proyek ini dan komunitas Huggingface.
2. Tambahkan "Pembungkus Urutan" di bawah ./seq2seq_construction untuk membangun input urutan (permintaan pengguna dan pengetahuan terstruktur) dan output sequene dari data mentah untuk penyatuan.
3. Tambahkan "evaluator" untuk tugas Anda di bawah ./metrics . Jika repositori pihak ketiga digunakan, ingatlah untuk menambahkannya ke .Gitmodules.
4. (Opsional) Anda dapat menambahkan "model" baru di bawah ./models untuk arsitektur model baru atau algoritma pembelajaran baru.
5. Tambahkan file konfigurasi untuk tugas Anda di bawah ./configure/META_TUNING .
6. Tambahkan file konfigurasi untuk setiap percobaan Anda di bawah ./configure/Salesforce .

Misc

• Kami menyebutkan Diretory untuk file konfigurasi eksperimental sebagai Salesforce karena kami ingin berterima kasih kepada Salesforce Research karena menyediakan sejumlah besar GPU. Kami juga ingin mengucapkan terima kasih kepada Amazon Research Awards, ServiceNow Research, dan Yale NLP karena menyediakan sumber daya komputasi dengan murah hati.
• ./models/unified/combined_prefixtuning.py tidak digunakan dalam makalah kami. File ini berisi kode untuk interaksi antara beberapa awalan dalam satu loop pelatihan tunggal. Kami mencoba beberapa varian interaksi seperti itu tetapi tidak menemukan mereka yang mengungguli pendekatan berbasis pembelajaran (sangat sederhana) yang digunakan dalam makalah kami. Namun, kami bersumber dari upaya gagal kami dan menyerukan eksplorasi potensial di masa depan.

Itu saja untuk itu: D

Kutipan

Jika Anda menganggap pekerjaan kami bermanfaat, silakan mengutip sebagai

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

Kontributor