UnifiedSKG

Unifiedskg: Libros :: Conocimiento estructurado unificador y multitarea con base en modelos de lenguaje de texto a texto

Código para EMNLP 2022 (oral) Paper Unifiedskg: conocimiento estructurado de unificación y multitarea con modelos de lenguaje de texto a texto. Consulte nuestra página del proyecto para obtener recursos relacionados con la fecha (por ejemplo, documentos, código, herramientas, tutoriales) para conocer el conocimiento estructurado. Cargue nuestros puntos de control desde HuBgingface Model Hub.

Descripción general de la estructura del código de UnifiedSkg

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

Agregue una nueva tarea a unifiedskg

(Readmes in ./tasks , ./seq2seq_construction , ./metrics , ./configure también puede ser útil)

1. Agregue un "cargador" de datos sin procesar en ./tasks . Puede buscar conjuntos de datos Huggingface para scripts posiblemente útiles. Si no, puede ser el contribuyente de este proyecto y la comunidad de Huggingface.
2. Agregue un "envoltorio de secuencia" en ./seq2seq_construction para construir entradas de secuencia (solicitud del usuario y conocimiento estructurado) y salidas secuenciales de datos sin procesar para la unificación.
3. Agregue un "evaluador" para su tarea en ./metrics . Si se usa un repositorio de terceros, recuerde agregarlo a .gitModules.
4. (Opcional) Puede agregar un nuevo "modelo" en ./models para una nueva arquitectura de modelo o un nuevo algoritmo de aprendizaje.
5. Agregue un archivo de configuración para su tarea en ./configure/META_TUNING .
6. Agregue un archivo de configuración para cada uno de sus experimentos en ./configure/Salesforce .

Maga

• Nombramos el director para los archivos de configuración experimentales como Salesforce porque nos gustaría agradecer a Salesforce Research por proporcionar una gran cantidad de GPU. También nos gustaría agradecer a Amazon Research Awards, ServiceNow Research y Yale NLP por proporcionar generosamente recursos informáticos.
• ./models/unified/combined_prefixtuning.py no se usa en nuestro documento. Este archivo contiene código para la interacción entre múltiples prefijos en un solo bucle de entrenamiento. Probamos algunas variantes de dicha interacción, pero no encontramos ninguna de ellas para superar el enfoque (extremadamente simple) basado en el aprendizaje utilizado en nuestro documento. Sin embargo, de código abierto nuestros intentos fallidos y pedimos una posible exploración futura.

Eso es todo por eso: D

Citación

Si encuentra útil nuestro trabajo, cite como

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

Colaboradores