ดาวน์โหลด reliability checklist - reliability checklist ซอร์สโค้ดดาวน์โหลดซอร์สโค้ดดาวน์โหลด

reliability checklist

โค้ดแหล่งที่มา AI

v0.1.0

ดาวน์โหลด

จะติดตั้งได้อย่างไร?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

ใช้อย่างไร?

ประเมินตัวอย่างโมเดล/ข้อมูลด้วยการกำหนดค่าเริ่มต้น

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

ประเมินรูปแบบด้วยการกำหนดค่าการทดลองเฉพาะชุดข้อมูลที่เลือกจากความน่าเชื่อถือ _checklist/configs/task/

recheck tasl= < task_name >

ระบุ model_name ที่กำหนดเองตามที่แสดงในตัวอย่าง mnli ต่อไปนี้

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli "

เพิ่ม cange_model config

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

การสร้างภาพผลลัพธ์

reliability-checklist รองรับเครื่องมือการสร้างภาพที่หลากหลาย หนึ่งสามารถตัดสินใจที่จะไปกับ Visualizer ออนไลน์ Wandb เริ่มต้น นอกจากนี้ยังสร้างพล็อตที่ให้ข้อมูลสูงซึ่งจะถูกเก็บไว้ในไดเรกทอรี logs