تنزيل reliability checklist - تنزيل رمز مصدر reliability checklist

reliability checklist

كود الذكاء الاصطناعي

v0.1.0

تنزيل

كيفية التثبيت؟

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

كيف تستخدم؟

تقييم مثال نموذج/بيانات مع التكوين الافتراضي

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

تقييم النموذج مع تكوين التجربة المحددة لمجموعة البيانات المختارة من موثوقية _checklist/configs/task/

recheck tasl= < task_name >

حدد مخصص model_name كما هو موضح في مثال mnli التالي

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli "

إضافة custom_model config

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

تصور النتائج

تدعم reliability-checklist مجموعة واسعة من أدوات التصور. يمكن للمرء أن يقرر الذهاب مع Visualt Wandb Online Visualizer. كما أنه يولد مخططات مفيدة للغاية والتي سيتم تخزينها في دليل logs .