UnifiedSKG

Unifiedskg: Livros :: Conhecimento estruturado de unificação e multitarefa fundamentação de conhecimento com modelos de linguagem de texto para texto

Código do artigo EMNLP 2022 (oral) UnifiedSkg: Conhecimento estruturado de unificação e multitarefa fundamentação com modelos de idiomas de texto em texto. Consulte nossa página do projeto para obter recursos relacionados atualizados (por exemplo, papéis, código, ferramentas, tutoriais) para obter o aterramento estruturado do conhecimento. Carregue nossos pontos de verificação do hub do modelo Huggingface.

Visão geral da estrutura de código do Unifiedskg

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

Adicione uma nova tarefa ao Unifiedskg

(ReadMes in ./tasks , ./seq2seq_construction , ./metrics , ./configure também pode ser útil)

1. Adicione um "carregador" de dados brutos em ./tasks . Você pode pesquisar conjuntos de dados HuggingFace para scripts possivelmente úteis. Caso contrário, você pode ser o colaborador deste projeto e da comunidade Huggingface.
2. Adicione um "Wrapper de sequência" em ./seq2seq_construction para construir entradas de sequência (solicitação do usuário e conhecimento estruturado) e saídas sequene a partir de dados brutos para a unificação.
3. Adicione um "avaliador" para sua tarefa em ./metrics . Se um repositório de terceiros for usado, lembre-se de adicioná-lo em .gitmodules.
4. (Opcional) Você pode adicionar um novo "modelo" em ./models para uma nova arquitetura de modelo ou um novo algoritmo de aprendizado.
5. Adicione um arquivo de configuração para sua tarefa em ./configure/META_TUNING .
6. Adicione um arquivo de configuração para cada um de seu experimento em ./configure/Salesforce .

Misc

• Nomeamos o Diretory para arquivos de configuração experimental como Salesforce, porque gostaríamos de agradecer à Salesforce Research por fornecer um grande número de GPUs. Também gostaríamos de agradecer a Amazon Research Awards, ServiceNow Research e Yale PNL por fornecer recursos de computação generosamente.
• ./models/unified/combined_prefixtuning.py não é usado em nosso artigo. Este arquivo contém código para a interação entre vários prefixos em um único loop de treinamento. Tentamos algumas variantes dessa interação, mas não encontramos nenhum deles para superar a abordagem (extremamente simples) baseada em aprendizado de transferência usada em nosso artigo. No entanto, de código aberto nossas tentativas fracassadas e pedimos uma possível exploração futura.

Isso é tudo para isso: D

Citação

Se você achar útil nosso trabalho, cite como

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

Colaboradores