UnifiedSKG

Unifiedskg: Книги :: Объединение и многозадачное структурированное знание

Код для EMNLP 2022 (оральный) Paper Unifiedskg: Объединение и многозадачное структурированное знание заземления с помощью языковых моделей текста в текст. Пожалуйста, обратитесь к нашей странице проекта для современных связанных ресурсов (например, документы, код, инструменты, учебные пособия) для структурированного заземления знаний. Загрузите наши контрольно -пропускные пункты с модели Huggingface.

Обзор структуры кода Unifiedskg

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

Добавить новую задачу в Unifiedskg

(Readmes in ./tasks , ./seq2seq_construction , ./metrics , ./configure также может быть полезен)

1. Добавьте «загрузчик» необработанных данных при ./tasks . Вы можете искать наборы данных HuggingFace для возможных полезных сценариев. Если нет, вы можете стать участником как этого проекта, так и сообщества Huggingface.
2. Добавьте «обертку последовательности» под ./seq2seq_construction , чтобы построить входы последовательностей (запрос пользователя и структурированные знания) и выходы Sequete из необработанных данных для объединения.
3. Добавьте «оценщик» для вашей задачи под ./metrics . Если используется сторонний репозиторий, не забудьте добавить его в .gitmodules.
4. (Необязательно) Вы можете добавить новую «модель» под ./models для новой архитектуры модели или нового алгоритма обучения.
5. Добавьте файл конфигурации для вашей задачи в разделе ./configure/META_TUNING .
6. Добавьте файл конфигурации для каждого из вашего эксперимента под ./configure/Salesforce .

Разное

• Мы называем Diretory для экспериментальных файлов конфигурации Salesforce, потому что мы хотели бы поблагодарить Salesforce Research за предоставление большого количества графических процессоров. Мы также хотели бы поблагодарить Amazon Research Awards, ServiceNow Research и Yale NLP за щедрое предоставление вычислительных ресурсов.
• ./models/unified/combined_prefixtuning.py не используется в нашей статье. Этот файл содержит код для взаимодействия между несколькими префиксами в одном петле обучения. Мы попробовали некоторые варианты такого взаимодействия, но не нашли ни одного из них превзойти (чрезвычайно простой) подход, основанный на переносе обучения, используемый в нашей статье. Тем не менее, мы открываем наши неудачные попытки и призываем к потенциальному будущему разведку.

Это все для этого: D

Цитирование

Если вы найдете нашу работу полезной, пожалуйста, цитируйте как

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

Участники