Descarga reliability checklist - Descargar el código fuente de reliability checklist descarga

reliability checklist

Código Fuente de IA

v0.1.0

Descargar

¿Cómo instalar?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

¿Cómo usar?

Evaluar el modelo/datos de ejemplo con configuración predeterminada

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

Evaluar el modelo con la configuración del experimento específica del conjunto de datos elegido desde Reliability_checkList/Configs/Task/

recheck tasl= < task_name >

Especifique el model_name personalizado como se muestra en el siguiente ejemplo MNLI

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli "

Agregar configuración custom_model

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

Visualización de resultados

reliability-checklist admite la amplia gama de herramientas de visualización. Uno puede decidir ir con el visualizador en línea WandB predeterminado. También genera gráficos que son altamente informativos que se almacenarán en el directorio logs .

? Contribuyendo a `reliability-checklist`

¡Cualquier tipo de contribución positiva es bienvenida! Ayúdanos a crecer contribuyendo al proyecto.

Si desea contribuir, puede trabajar en cualquier característica/problemas enumerados aquí o crear una por su cuenta. Después de agregar su código, envíenos una solicitud de extracción.