jiant
v2.2.0: Easy to add any H
تحديث : اعتبارًا من 2021/10/17 ، لم يعد يتم الحفاظ على مشروع jiant بنشاط. هذا يعني أنه لن تكون هناك خطط لإضافة نماذج أو مهام أو ميزات جديدة أو تحديث الدعم للمكتبات الجديدة.
jiant هي مجموعة أدوات NLPمجموعة أدوات التعلم متعددة المهام ونقلها لأبحاث معالجة اللغة الطبيعية
لماذا يجب أن أستخدم jiant ؟
jiant التعلم متعدد المهامjiant التعلم النقلjiant 50+ مهام فهم اللغة الطبيعيةjiant المعايير التالية:jiant هي مكتبة أبحاث ويتم تشجيع المستخدمين على تمديد وتغيير والمساهمة في مطابقة احتياجاتهم! بعض الأشياء الإضافية التي قد ترغب في معرفتها عن jiant :
jiant هو ملف التكوين مدفوعjiant مع Pytorchjiant مع datasets لإدارة بيانات المهمةjiant مع transformers لإدارة النماذج والرمز المميزات. jiant من خلال قراءة أدلةنا لاستيراد jiant من المصدر (موصى به للباحثين):
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install -r requirements.txt
# Add the following to your .bash_rc or .bash_profile
export PYTHONPATH=/path/to/jiant: $PYTHONPATH إذا كنت تخطط للمساهمة في JIANT ، فقم بتثبيت تبعيات إضافية مع pip install -r requirements-dev.txt .
لتثبيت jiant من المصدر (بديل للباحثين):
git clone https://github.com/nyu-mll/jiant.git
cd jiant
pip install . -e
لتثبيت jiant من PIP (الموصى بها إذا كنت ترغب فقط في تدريب/استخدام نموذج):
pip install jiant
أوصينا بتثبيت jiant في بيئة افتراضية أو بيئة كوندا.
للتحقق من تثبيت jiant بشكل صحيح ، قم بتشغيل مثال بسيط.
المثال التالي يقوم بتشكيل نموذج روبرتا على مجموعة بيانات MRPC.
نسخة بيثون:
from jiant . proj . simple import runscript as run
import jiant . scripts . download_data . runscript as downloader
EXP_DIR = "/path/to/exp"
# Download the Data
downloader . download_data ([ "mrpc" ], f" { EXP_DIR } /tasks" )
# Set up the arguments for the Simple API
args = run . RunConfiguration (
run_name = "simple" ,
exp_dir = EXP_DIR ,
data_dir = f" { EXP_DIR } /tasks" ,
hf_pretrained_model_name_or_path = "roberta-base" ,
tasks = "mrpc" ,
train_batch_size = 16 ,
num_train_epochs = 3
)
# Run!
run . run_simple ( args )نسخة باش:
EXP_DIR=/path/to/exp
python jiant/scripts/download_data/runscript.py
download
--tasks mrpc
--output_path ${EXP_DIR} /tasks
python jiant/proj/simple/runscript.py
run
--run_name simple
--exp_dir ${EXP_DIR} /
--data_dir ${EXP_DIR} /tasks
--hf_pretrained_model_name_or_path roberta-base
--tasks mrpc
--train_batch_size 16
--num_train_epochs 3تم العثور على أمثلة على سير عمل التدريب الأكثر تعقيدًا هنا.
يمكن العثور على إرشادات مشروع jiant Project المساهمة هنا.
jiant v1.3.2 ؟ تم نقل jiant v1.3.2 إلى Jiant-V1-Legacy لدعم الأبحاث المستمرة مع المكتبة. jiant v2.xx أكثر وحدات وقابلة للتطوير من jiant v1.3.2 وقد تم تصميمها لتعكس احتياجات مجتمع أبحاث NLP الحالي. لقد أوصينا بشدة بأي مشاريع جديدة تستخدم jiant v2.xx
تم استخدام jiant 1.x في العديد من الأوراق. للحصول على تعليمات حول كيفية إعادة إنتاج الأوراق من قبل مؤلفين jiant الذين يشيرون إلى القراء إلى هذا الموقع للتوثيق (بما في ذلك Tenney et al. ، Wang et al. ، Bowman et al. ، Kim et al.
إذا كنت تستخدم jiant ≥ v2.0.0 في العمل الأكاديمي ، فيرجى الاستشهاد به مباشرة:
@misc{phang2020jiant,
author = {Jason Phang and Phil Yeres and Jesse Swanson and Haokun Liu and Ian F. Tenney and Phu Mon Htut and Clara Vania and Alex Wang and Samuel R. Bowman},
title = {texttt{jiant} 2.0: A software toolkit for research on general-purpose text understanding models},
howpublished = {url{http://jiant.info/}},
year = {2020}
}
إذا كنت تستخدم jiant ≤ v1.3.2 في العمل الأكاديمي ، فيرجى استخدام الاقتباس الموجود هنا.
تم إصدار jiant تحت رخصة معهد ماساتشوستس للتكنولوجيا.
