Загрузка reliability checklist - Загрузка reliability checklist Скачать исходный код

reliability checklist

AI Исходный код

v0.1.0

Скачать

Как установить?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

Как использовать?

Оценить пример модели/данные с конфигурацией по умолчанию

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

Оценить модель с выбранной конфигурацией эксперимента, специфичной для набора данных, от restuality_checklist/configs/task/

recheck tasl= < task_name >

Укажите пользовательскую модель_name, как показано в следующем примере MNLI

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli "

Добавить custom_model config

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

Визуализация результатов

reliability-checklist поддерживает широкий спектр инструментов визуализации. Можно принять решение о том, что он онлайн -визуализатор Wandb онлайн -по умолчанию. Он также генерирует графики, которые являются очень информативными, которые будут храниться в каталоге logs .

? Вклад в `reliability-checklist`

Любой вид позитивного вклада приветствуется! Пожалуйста, помогите нам расти, участвуя в проекте.

Если вы хотите внести свой вклад, вы можете поработать над любыми функциями/проблемами, перечисленными здесь или создавать его самостоятельно. После добавления вашего кода, пожалуйста, отправьте нам запрос на привлечение.