UnifiedSKG

UnifiedSkg: Bücher :: Einheitliche und multitasking strukturierte Wissens Erdung mit Text-zu-Text-Sprachmodellen

Code für EMNLP 2022 (orales) Papier UnifiedSKG: Einheitliche und multitasking strukturierte Wissens Erdung mit Text-zu-Text-Sprachmodellen. Auf unserer Projektseite finden Sie in aktuellen Ressourcen (z. B. Artikel, Code, Tools, Tutorials) für strukturierte Wissensdeerde. Laden Sie unsere Kontrollpunkte aus dem Huggingface -Modell Hub.

Code -Strukturübersicht von UnifiedSkg

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

Fügen Sie UnifiedSkg eine neue Aufgabe hinzu

./seq2seq_construction Readmes ./metrics ./tasks ./configure

1. Fügen Sie einen "Loader" von Rohdaten unter ./tasks hinzu. Sie können Suggingface -Datensätze nach möglicherweise nützlichen Skripten durchsuchen. Wenn nicht, können Sie sowohl dieses Projekt als auch für die Suggingface -Community mitwirken.
2. Fügen Sie einen "Sequence Wrapper" unter ./seq2seq_construction hinzu, um Sequenzeingänge (Benutzeranforderung und strukturiertes Wissen) zu konstruieren, und Sequene -Ausgänge aus Rohdaten für die Vereinigung.
3. Fügen Sie einen "Evaluator" für Ihre Aufgabe unter ./metrics hinzu. Wenn ein Drittanbieter-Repository verwendet wird, denken Sie daran, sie in .gitmodules hinzuzufügen.
4. (Optional) Sie können ein neues "Modell" unter ./models für eine neue Modellarchitektur oder einen neuen Lernalgorithmus hinzufügen.
5. Fügen Sie eine Konfigurationsdatei für Ihre Aufgabe unter ./configure/META_TUNING hinzu.
6. Fügen Sie eine Konfigurationsdatei für jedes Ihrer Experiment unter ./configure/Salesforce hinzu.

Miser

• Wir nennen das Diretory für experimentelle Konfigurationsdateien als Salesforce, da wir Salesforce Research für die Bereitstellung einer großen Anzahl von GPUs danken möchten. Wir möchten uns auch bei Amazon Research Awards, Servicenow Research und Yale NLP für die großzügige Bereitstellung von Rechenressourcen bedanken.
• ./models/unified/combined_prefixtuning.py wird in unserem Papier nicht verwendet. Diese Datei enthält Code für die Interaktion zwischen mehreren Präfixen in einer einzelnen Trainingsschleife. Wir haben einige Varianten einer solchen Interaktion ausprobiert, fanden jedoch keinen von ihnen, um den (extrem einfachen) lernbasierten Ansatz zu übertreffen, der in unserem Artikel verwendet wird. Wir haben jedoch unsere gescheiterten Versuche offen und fordern eine potenzielle zukünftige Erforschung.

Das ist alles dafür: D.

Zitat

Wenn Sie unsere Arbeit hilfreich finden, zitieren Sie bitte als

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

Mitwirkende