reliability checklist

Bagaimana cara menginstal?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

Bagaimana cara menggunakannya?

Mengevaluasi contoh model/data dengan konfigurasi default

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

Evaluasi Model dengan Konfigurasi Eksperimen Khusus Dataset Terpilih dari Reliability_Checklist/Configs/Task/

recheck tasl= < task_name >

Tentukan Model_Name kustom seperti yang ditunjukkan pada contoh MNLI berikut

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli " 

Tambahkan konfigurasi custom_model

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

Visualisasi hasil

reliability-checklist mendukung berbagai alat visualisasi. Orang dapat memutuskan untuk menggunakan visualisasi online wandb default. Ini juga menghasilkan plot yang sangat informatif yang akan disimpan ke direktori logs .

? Berkontribusi pada reliability-checklist

Segala jenis kontribusi positif diterima! Tolong bantu kami untuk tumbuh dengan berkontribusi pada proyek.

Jika Anda ingin berkontribusi, Anda dapat mengerjakan fitur/masalah apa pun yang tercantum di sini atau membuatnya sendiri. Setelah menambahkan kode Anda, silakan kirim permintaan tarik kepada kami.

Harap baca CONTRIBUTING untuk perincian tentang CODE OF CONDUCT kami, dan proses untuk mengirimkan permintaan tarik kepada kami.

---

A ️ untuk memeriksa keandalan adalah membangun keandalan model bahasa.

Memperluas