jiant
v2.2.0: Easy to add any H
업데이트 : 2021/10/17 현재, jiant 프로젝트는 더 이상 적극적으로 유지되지 않습니다. 즉, 새로운 모델, 작업 또는 기능을 추가하거나 새로운 라이브러리에 지원을 업데이트 할 계획이 없음을 의미합니다.
jiant 는 NLP 툴킷입니다자연어 처리 연구를위한 멀티 태스킹 및 전송 학습 툴킷
jiant 사용해야하는 이유는 무엇입니까?
jiant 멀티 태스킹 학습을 지원합니다jiant 이전 학습을 지원합니다jiant 50 개 이상의 자연어 이해 작업을 지원합니다jiant 다음 벤치 마크를 지원합니다.jiant 는 연구 도서관이며 사용자는 자신의 요구에 맞게 확장, 변경 및 기여하도록 권장됩니다! jiant 에 대해 알고 싶은 몇 가지 추가 사항 :
jiant 는 구성 파일 중심입니다jiant Pytorch와 함께 지어졌습니다jiant datasets 와 통합하여 작업 데이터를 관리합니다jiant transformers 와 통합하여 모델 및 토큰 화제를 관리합니다. jiant 에 대해 자세히 알아보십시오 Source에서 jiant 가져 오려면 (연구원에게 권장) :
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install -r requirements.txt
# Add the following to your .bash_rc or .bash_profile
export PYTHONPATH=/path/to/jiant: $PYTHONPATH Jiant에 기여할 계획이라면 pip install -r requirements-dev.txt 사용하여 추가 종속성을 설치하십시오.
Source에서 jiant 설치하려면 (연구원을위한 대안) :
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install . -e
PIP에서 jiant 설치하려면 (모델을 훈련/사용하려는 경우 권장) :
pip install jiant
가상 환경이나 콘다 환경에 jiant 설치하는 것이 좋습니다.
jiant 올바르게 설치되었는지 확인하려면 간단한 예제를 실행하십시오.
다음 예제는 MRPC 데이터 세트에서 Roberta 모델을 미세 조정합니다.
파이썬 버전 :
from jiant . proj . simple import runscript as run
import jiant . scripts . download_data . runscript as downloader
EXP_DIR = "/path/to/exp"
# Download the Data
downloader . download_data ([ "mrpc" ], f" { EXP_DIR } /tasks" )
# Set up the arguments for the Simple API
args = run . RunConfiguration (
run_name = "simple" ,
exp_dir = EXP_DIR ,
data_dir = f" { EXP_DIR } /tasks" ,
hf_pretrained_model_name_or_path = "roberta-base" ,
tasks = "mrpc" ,
train_batch_size = 16 ,
num_train_epochs = 3
)
# Run!
run . run_simple ( args )배쉬 버전 :
EXP_DIR=/path/to/exp
python jiant/scripts/download_data/runscript.py
download
--tasks mrpc
--output_path ${EXP_DIR} /tasks
python jiant/proj/simple/runscript.py
run
--run_name simple
--exp_dir ${EXP_DIR} /
--data_dir ${EXP_DIR} /tasks
--hf_pretrained_model_name_or_path roberta-base
--tasks mrpc
--train_batch_size 16
--num_train_epochs 3보다 복잡한 훈련 워크 플로의 예는 여기에서 찾을 수 있습니다.
jiant Project의 기고 가이드 라인은 여기에서 찾을 수 있습니다.
jiant v1.3.2 찾고 계십니까? jiant v1.3.2 도서관과의 진행중인 연구를 지원하기 위해 Jiant-V1 legacy로 옮겨졌습니다. jiant v2.xx 는 jiant v1.3.2 보다 모듈 식적이고 확장 가능하며 현재 NLP 연구 커뮤니티의 요구를 반영하도록 설계되었습니다. 우리는 새로운 프로젝트가 jiant v2.xx 사용하는 것을 강력히 권장했습니다.
jiant 1.x 여러 논문에서 사용되었습니다. 문서를 위해이 사이트의 독자를 참조하는 jiant 저자의 논문을 재생하는 방법에 대한 지침 (Tenney et al., Wang et al., Kim et al., Kim et al., Warstadt et al. 포함)은 Jiant-V1-Legacy Readme를 참조하십시오.
학업에서 jiant ≥ v2.0.0 사용하는 경우 직접 인용하십시오.
@misc{phang2020jiant,
author = {Jason Phang and Phil Yeres and Jesse Swanson and Haokun Liu and Ian F. Tenney and Phu Mon Htut and Clara Vania and Alex Wang and Samuel R. Bowman},
title = {texttt{jiant} 2.0: A software toolkit for research on general-purpose text understanding models},
howpublished = {url{http://jiant.info/}},
year = {2020}
}
학업에서 jiant ≤ v1.3.2 사용하는 경우 여기에있는 인용을 사용하십시오.
jiant MIT 라이센스에 따라 릴리스됩니다.
