jiant
v2.2.0: Easy to add any H
UPDATE : ณ ปี 2021/10/17 โครงการ jiant จะไม่ได้รับการดูแลอย่างแข็งขันอีกต่อไป ซึ่งหมายความว่าจะไม่มีแผนที่จะเพิ่มโมเดลงานหรือคุณสมบัติใหม่หรืออัปเดตการสนับสนุนไปยังไลบรารีใหม่
jiant เป็นชุดเครื่องมือ NLPชุดเครื่องมือการเรียนรู้มัลติทาสก์และการถ่ายโอนสำหรับการวิจัยการประมวลผลภาษาธรรมชาติ
ทำไมฉันต้องใช้ jiant ?
jiant สนับสนุนการเรียนรู้มัลติทาสก์jiant สนับสนุนการเรียนรู้การถ่ายโอนjiant สนับสนุนงานการทำความเข้าใจภาษาธรรมชาติมากกว่า 50 รายการjiant รองรับมาตรฐานต่อไปนี้:jiant เป็นห้องสมุดวิจัยและผู้ใช้ได้รับการสนับสนุนให้ขยายเปลี่ยนและมีส่วนร่วมเพื่อให้ตรงกับความต้องการของพวกเขา! มีบางสิ่งเพิ่มเติมที่คุณอาจต้องการรู้เกี่ยวกับ jiant :
jiant เป็นไฟล์กำหนดค่าที่ขับเคลื่อนjiant ถูกสร้างขึ้นด้วย pytorchjiant รวมเข้ากับ datasets เพื่อจัดการข้อมูลงานjiant รวมเข้ากับ transformers เพื่อจัดการโมเดลและโทเคนิเซอร์ jiant โดยการอ่านไกด์ของเรา เพื่อนำเข้า jiant จากแหล่งที่มา (แนะนำสำหรับนักวิจัย):
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install -r requirements.txt
# Add the following to your .bash_rc or .bash_profile
export PYTHONPATH=/path/to/jiant: $PYTHONPATH หากคุณวางแผนที่จะมีส่วนร่วมใน jiant ให้ติดตั้งการพึ่งพาเพิ่มเติมด้วย pip install -r requirements-dev.txt
ในการติดตั้ง jiant จากแหล่งที่มา (ทางเลือกสำหรับนักวิจัย):
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install . -e
ในการติดตั้ง jiant จาก PIP (แนะนำหากคุณต้องการฝึกอบรม/ใช้รุ่น):
pip install jiant
เราแนะนำให้คุณติดตั้ง jiant ในสภาพแวดล้อมเสมือนจริงหรือสภาพแวดล้อม conda
ในการตรวจสอบ jiant ได้รับการติดตั้งอย่างถูกต้องให้เรียกใช้ตัวอย่างง่ายๆ
ตัวอย่างต่อไปนี้ปรับแต่งโมเดล Roberta บนชุดข้อมูล MRPC
รุ่น Python:
from jiant . proj . simple import runscript as run
import jiant . scripts . download_data . runscript as downloader
EXP_DIR = "/path/to/exp"
# Download the Data
downloader . download_data ([ "mrpc" ], f" { EXP_DIR } /tasks" )
# Set up the arguments for the Simple API
args = run . RunConfiguration (
run_name = "simple" ,
exp_dir = EXP_DIR ,
data_dir = f" { EXP_DIR } /tasks" ,
hf_pretrained_model_name_or_path = "roberta-base" ,
tasks = "mrpc" ,
train_batch_size = 16 ,
num_train_epochs = 3
)
# Run!
run . run_simple ( args )เวอร์ชันทุบตี:
EXP_DIR=/path/to/exp
python jiant/scripts/download_data/runscript.py
download
--tasks mrpc
--output_path ${EXP_DIR} /tasks
python jiant/proj/simple/runscript.py
run
--run_name simple
--exp_dir ${EXP_DIR} /
--data_dir ${EXP_DIR} /tasks
--hf_pretrained_model_name_or_path roberta-base
--tasks mrpc
--train_batch_size 16
--num_train_epochs 3ตัวอย่างของเวิร์กโฟลว์การฝึกอบรมที่ซับซ้อนมากขึ้นพบได้ที่นี่
แนวทางการสนับสนุนของโครงการ jiant สามารถพบได้ที่นี่
jiant v1.3.2 ? jiant v1.3.2 ถูกย้ายไปที่ Jiant-V1-legacy เพื่อสนับสนุนการวิจัยอย่างต่อเนื่องกับห้องสมุด jiant v2.xx นั้นเป็นแบบแยกส่วนและปรับขนาดได้มากกว่า jiant v1.3.2 และได้รับการออกแบบมาเพื่อสะท้อนความต้องการของชุมชนการวิจัย NLP ในปัจจุบัน เราขอแนะนำให้ใช้โครงการใหม่ใด ๆ ที่ใช้ jiant v2.xx
jiant 1.x ถูกนำมาใช้ในหลายเอกสาร สำหรับคำแนะนำเกี่ยวกับวิธีการทำซ้ำเอกสารโดยผู้เขียน jiant ที่อ้างถึงผู้อ่านไปยังเว็บไซต์นี้สำหรับเอกสาร (รวมถึง Tenney et al., Wang et al., Bowman et al., Kim et al., Warstadt et al.), อ้างถึง jiant-v1-legacy readme
หากคุณใช้ jiant ≥ v2.0.0 ในงานวิชาการโปรดอ้างอิงโดยตรง:
@misc{phang2020jiant,
author = {Jason Phang and Phil Yeres and Jesse Swanson and Haokun Liu and Ian F. Tenney and Phu Mon Htut and Clara Vania and Alex Wang and Samuel R. Bowman},
title = {texttt{jiant} 2.0: A software toolkit for research on general-purpose text understanding models},
howpublished = {url{http://jiant.info/}},
year = {2020}
}
หากคุณใช้ jiant ≤ v1.3.2 ในงานวิชาการโปรดใช้การอ้างอิงที่พบที่นี่
jiant ได้รับการปล่อยตัวภายใต้ใบอนุญาต MIT
