jiant
v2.2.0: Easy to add any H
更新：2021/10/17の時点で、 jiantプロジェクトは積極的に維持されていません。これは、新しいモデル、タスク、機能を追加したり、新しいライブラリにサポートを更新する計画がないことを意味します。
jiantはNLPツールキットです自然言語処理研究のためのマルチタスクおよび転送学習ツールキット
なぜjiantを使用する必要があるのですか？
jiantマルチタスク学習をサポートしますjiant転送学習をサポートしますjiant 、50以上の自然言語理解タスクをサポートしていますjiant次のベンチマークをサポートしています。jiantは研究図書館であり、ユーザーは自分のニーズに合わせて拡張、変更、貢献することが奨励されています！ jiantについて知りたいかもしれないいくつかの追加のこと：
jiantは構成ファイル駆動型ですjiantはPytorchで構築されていますjiant datasetsと統合してタスクデータを管理しますjiant transformersと統合して、モデルとトークンザーを管理します。 jiantの詳細をご覧くださいソースからjiantをインポートするには（研究者に推奨）。
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install -r requirements.txt
# Add the following to your .bash_rc or .bash_profile
export PYTHONPATH=/path/to/jiant: $PYTHONPATH Jiantに貢献する予定の場合は、 pip install -r requirements-dev.txtに追加の依存関係をインストールしてください。
ソースからjiantをインストールするには（研究者向けの代替）。
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install . -e
PIPからjiantをインストールするには（モデルをトレーニング/使用する場合に推奨されます）：
pip install jiant
Virtual環境またはConda環境にjiantをインストールすることをお勧めします。
jiantを正しくインストールするには、簡単な例を実行します。
次の例は、MRPCデータセットのRobertaモデルを微調整します。
Pythonバージョン：
from jiant . proj . simple import runscript as run
import jiant . scripts . download_data . runscript as downloader
EXP_DIR = "/path/to/exp"
# Download the Data
downloader . download_data ([ "mrpc" ], f" { EXP_DIR } /tasks" )
# Set up the arguments for the Simple API
args = run . RunConfiguration (
run_name = "simple" ,
exp_dir = EXP_DIR ,
data_dir = f" { EXP_DIR } /tasks" ,
hf_pretrained_model_name_or_path = "roberta-base" ,
tasks = "mrpc" ,
train_batch_size = 16 ,
num_train_epochs = 3
)
# Run!
run . run_simple ( args )BASHバージョン：
EXP_DIR=/path/to/exp
python jiant/scripts/download_data/runscript.py
download
--tasks mrpc
--output_path ${EXP_DIR} /tasks
python jiant/proj/simple/runscript.py
run
--run_name simple
--exp_dir ${EXP_DIR} /
--data_dir ${EXP_DIR} /tasks
--hf_pretrained_model_name_or_path roberta-base
--tasks mrpc
--train_batch_size 16
--num_train_epochs 3より複雑なトレーニングワークフローの例をここにあります。
jiant Projectの貢献ガイドラインはこちらをご覧ください。
jiant v1.3.2をお探しですか？ jiant v1.3.2 、図書館で進行中の研究をサポートするために、Jiant-V1-Legacyに移されました。 jiant v2.xx 、 jiant v1.3.2よりもモジュールでスケーラブルであり、現在のNLP研究コミュニティのニーズを反映するように設計されています。 jiant v2.xxを使用する新しいプロジェクトを強くお勧めします。
jiant 1.x 、いくつかの論文で使用されています。ドキュメントのために読者にこのサイトを読者に紹介するjiant著者による論文を再現する方法についての指示（Wang et al。、Bowman et al。、Kim et al。、Warstadt et al。を含む）については、Jiant-V1-Legacy Readmeを参照してください。
アカデミックワークでjiant ≥ v2.0.0使用する場合は、直接引用してください。
@misc{phang2020jiant,
author = {Jason Phang and Phil Yeres and Jesse Swanson and Haokun Liu and Ian F. Tenney and Phu Mon Htut and Clara Vania and Alex Wang and Samuel R. Bowman},
title = {texttt{jiant} 2.0: A software toolkit for research on general-purpose text understanding models},
howpublished = {url{http://jiant.info/}},
year = {2020}
}
アカデミックワークでjiant ≤ v1.3.2使用する場合は、ここにある引用を使用してください。
jiantはMITライセンスの下でリリースされます。
