Zemi

ペーパーゼミのコード：複数のタスクからゼロショットセミパラメトリック言語モデルを学習する[ACL 2023調査結果]

データセットを準備します

事前に処理されたデータセットのダウンロードと事前にコスチュームデータセットをこちらにご覧いただけます。

チェックポイントをダウンロードします

checkpointsをダウンロード：https：//uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga。チェックポイントディレクトリをzemi/output/p3_finetuningの下にcheckpointsに置きます

セットアップ環境

conda env create -f environment.ymlを使用してConda環境をセットアップします。 accelerate configを実行して、デバイスを構成します。

クイックスタート

表1の主な結果を再現するためのスクリプト：パフォーマンス（セミ）パラメトリックマルチタスクは、トレーニングとゼロショット評価を促しました。構成に関する詳細な指示は、こちらをご覧ください。すべてのスクリプトはzemi/で実行する必要があります。 SETUP_ENV.sh 、env変数を設定するために次のスクリプトで呼び出されます。上記のセットアップとまったく同じフォルダー構造を使用しない場合、変数を変更できます。

AUGベースラインはありません

• ベース： bash ./training/no_aug_base.sh
• 大規模： bash ./training/no_aug_large.sh

concatベースライン

• ベース： bash ./training/concat_base.sh
• 大規模： bash ./training/concat_large.sh

FIDベースライン

• ベース： bash ./training/fid_base.sh
• 大規模： bash ./training/fid_large.sh

ゼミ

• ベース： bash ./training/zemi_base.sh
• 大規模： bash ./training/zemi_large.sh

ソースコードの簡単な説明

• モデルアーキテクチャのコード： zemi/modeling_t5.pyこのラインとzemi/modeling_xattn.py
• マルチタスクトレーニングのコード：
  • AUGおよびCONCATベースラインをトレーニングしない： zemi/multi_task_fine_tune_baseline.py
  • Train Fid Baseline and Zemi： zemi/multi_task_fine_tune_xattn.py
• ゼロショット評価のコード：
  • AUGおよびCONCATベースラインを評価しない： zemi/eval_original_task_only.py
  • 評価fidベースラインとzemi： zemi/eval_original_task_only_xattn.py

取得されたドキュメントの視覚化

visualization/各タスクの取得ドキュメントの例を含む。 visualization/top50_highest_score_retrieval_instancesとvisualization/top50_lowest_score_retrieval_instancesの最高および最低のBM25スコアを持つ上位50の例を含めます。また、 visualization/first50_retrieval_instancesで並べ替えることなく、各データセットの最初の50インスタンスも含めます。

引用

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}