UnifiedSKGダウンロードUnifiedSKGソースコードのダウンロード

UnifiedSKG

その他のソースコード

1.0.0

ダウンロード

unifiedSkg：本::統一とマルチタスク構造化された知識のテキストからテキストへの言語モデルを使用した

EMNLP 2022（Oral）Paper UnifiedSkgのコード：テキスト間言語モデルを使用した統一およびマルチタスク構造化された知識の基礎。構造化された知識の基礎については、最新の関連リソース（論文、コード、ツール、チュートリアルなど）については、プロジェクトページを参照してください。 Huggingface Model Hubからチェックポイントをロードします。

unifiedskgのコード構造の概要

 .
├── configure                              # Config files for experiments, tasks, and settings
│   ├── META_TUNING                        # Config files for tasks and settings
│   └── Salesforce                         # Config files for experiments (see Misc)
│
├── metrics                                # Code for evaluation
│   └── ...                                # Please check the README of the ./seq2seq_construction.
├── models                                 # Code for models
│   ├── adapter                            # Code for T5 and BART with adapters (based on HuggingFace Transformers)
│   ├── prompt                             # Code for T5 and BART with prefix-tuning (based on HuggingFace Transformers)
│   └── unified
│           ├── base.py                    # Code for the base model that enables an arbitrary model to be pushed to HuggingFace Model Hub (namely, PushToHubFriendlyModel)
│           ├── finetune.py                # Code for finetuning
│           ├── adaptertuning.py           # Code for adapter-tuning
│           ├── prefixtuning.py            # Code for prefix-tuning
│           └── combined_prefixtuning.py   # Code for combined prefix-tuning (not used in our paper, see Misc)
│
├── seq2seq_construction                   # Code for converting raw data into sequences
│    └──  ...                              # Please check the README in this directory.
│
├── tasks                                  # Code for loading raw data
│    └──  ...                              # Please check the README in this directory.
│
├── third_party                            # Packages from third parties
│    └──  ...                              # Please check the README in this directory.
│
├── utils                                  # Code for some (probably) useful stuff
│       ├── processor                      # Adopted from Tapex: the processor that handles table truncation and linearization
        │        └──  ...            
│       ├── configure.py                   # Code for parsing config files in ./configure
│       ├── dataset.py                     # Code for converting input and output sequences into Datasets for training
│       ├── tool.py                        # Code for loading models, seq2seq constructors, and evaluators
│       ├── trainer.py                     # Code for EvaluationFriendlyTrainer. If you want make training-specific modifications, you may want to change something here.
│       └── training_arguments.py          # Code for seq2seq training arguments
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda environment config file
├── README.md                              # The README file you are looking at :)
└── train.py                               # Entry code, which controls train, eval, test, storage, and logging

UnifiedSkgに新しいタスクを追加します

（readmes ./metrics ./tasks ./seq2seq_construction役立ち./configure ）

./tasksの下に生データの「ローダー」を追加します。おそらく便利なスクリプトについて、Huggingfaceデータセットを検索できます。そうでない場合、あなたはこのプロジェクトとハギングフェイスコミュニティの両方の貢献者になることができます。
./seq2seq_constructionの下に「シーケンスラッパー」を追加して、シーケンス入力（ユーザー要求と構造化された知識）と統合のための生データからの連続出力を構築します。
./metricsの下でタスクに「評価者」を追加します。サードパーティリポジトリを使用している場合は、.gitmodulesに追加することを忘れないでください。
（オプション）新しいモデルアーキテクチャまたは新しい学習アルゴリズムのために、 ./modelsの下に新しい「モデル」を追加できます。
./configure/META_TUNINGの下でタスクの構成ファイルを追加します。
./configure/Salesforceの下で、各実験の構成ファイルを追加します。

その他

実験的な構成ファイルのDiretoryをSalesforceとして名前を付けます。なぜなら、多数のGPUを提供してくれたSalesForce Researchに感謝したいからです。また、コンピューティングリソースをたっぷりと提供してくれたAmazon Research Awards、ServiceNow Research、およびYale NLPにも感謝します。
./models/unified/combined_prefixtuning.py 、私たちの論文では使用されていません。このファイルには、単一のトレーニングループ内の複数のプレフィックス間の相互作用のコードが含まれています。このような相互作用のいくつかのバリアントを試しましたが、私たちの論文で使用されている（非常に単純な）転送学習ベースのアプローチよりも優れたものを見つけることはありませんでした。しかし、私たちは失敗した試みをオープンソーシングし、潜在的な将来の探査を求めています。

それだけです：d

引用

私たちの作品が役立つと思われる場合は、ASを引用してください

 @article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}