UnifiedSKG

UnifiedSkg: Books :: Unifier et Multi-Tasking Structured Knowledge Forming avec des modèles de langage texte à texte

Code pour EMNLP 2022 (oral) Papier UnifiedSkg: Unification et les connaissances structurées unificatrices et la mise à la terre avec des modèles de langage text-to-texte. Veuillez vous référer à notre page de projet pour les ressources liées à jour (par exemple, les articles, le code, les outils, les tutoriels) pour la mise à la terre des connaissances structurées. Chargez nos points de contrôle de Huggingface Model Hub.

Présentation de la structure du code d'UnifiedSkg

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

Ajoutez une nouvelle tâche dans UnifiedSkg

(Readmes in ./tasks , ./seq2seq_construction , ./metrics , ./configure peut également être utile)

1. Ajoutez un "chargeur" ​​de données brutes sous ./tasks . Vous pouvez rechercher des ensembles de données HuggingFace pour des scripts éventuellement utiles. Sinon, vous pouvez être le contributeur de ce projet et de la communauté HuggingFace.
2. Ajoutez un "wrapper de séquence" sous ./seq2seq_construction pour construire des entrées de séquence (demande de l'utilisateur et connaissances structurées) et des sorties de séquence à partir de données brutes pour l'unification.
3. Ajoutez un "évaluateur" pour votre tâche sous ./metrics . Si un référentiel tiers est utilisé, n'oubliez pas de l'ajouter dans .gitModules.
4. (Facultatif) Vous pouvez ajouter un nouveau "modèle" sous ./models pour une nouvelle architecture de modèle ou un nouvel algorithme d'apprentissage.
5. Ajoutez un fichier de configuration pour votre tâche sous ./configure/META_TUNING .
6. Ajoutez un fichier de configuration pour chacune de votre expérience sous ./configure/Salesforce .

Mission

• Nous nommons le Diretory des fichiers de configuration expérimentaux comme Salesforce, car nous tenons à remercier Salesforce Research pour avoir fourni un grand nombre de GPU. Nous tenons également à remercier les Amazon Research Awards, ServiceNow Research et Yale NLP pour avoir fourni des ressources informatiques généreusement.
• ./models/unified/combined_prefixtuning.py n'est pas utilisé dans notre article. Ce fichier contient du code pour l' interaction entre plusieurs préfixes dans une seule boucle de formation. Nous avons essayé certaines variantes d'une telle interaction, mais nous n'avons trouvé aucun d'entre eux pour surpasser l'approche (extrêmement simple) basée sur l'apprentissage du transfert utilisé dans notre article. Cependant, nous ouvrons nos tentatives infructueuses et appelons à une exploration future potentielle.

C'est tout pour ça: D

Citation

Si vous trouvez notre travail utile, veuillez citer comme

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

Contributeurs