Téléchargement reliability checklist - reliability checklist Téléchargement du code source

reliability checklist

Code Source AI

v0.1.0

Télécharger

Comment installer?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

Comment utiliser?

Évaluez l'exemple de modèle / données avec la configuration par défaut

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

Évaluez le modèle avec la configuration d'expérience spécifique à l'ensemble de données choisi à partir de fiabilité_checklist / configs / tâche /

recheck tasl= < task_name >

Spécifiez le nom de modèle personnalisé comme indiqué dans l'exemple MNLI suivant

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli "

Ajouter une configuration personnalisée

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

Visualisation des résultats

reliability-checklist prend en charge le large éventail d'outils de visualisation. On peut décider d'aller avec le visualiseur en ligne WANDB par défaut. Il génère également des parcelles très informatives qui seront stockées dans le répertoire logs .

? Contribuant à `reliability-checklist`

Tout type de contribution positive est la bienvenue! Veuillez nous aider à grandir en contribuant au projet.

Si vous souhaitez contribuer, vous pouvez travailler sur toutes les fonctionnalités / problèmes répertoriés ici ou en créer un par vous-même. Après avoir ajouté votre code, veuillez nous envoyer une demande de traction.