reliability checklist

Como instalar?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

Como usar?

Avalie o exemplo de modelo/dados com configuração padrão

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

Avalie o modelo com configuração de experimento específica de dados escolhida de Reliabilidade_CheckList/Configs/Task/

recheck tasl= < task_name >

Especifique o Model_name Custom, como mostrado no seguinte exemplo do MNLI

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli " 

Adicione a configuração custom_model

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

Visualização de resultados

reliability-checklist suporta a ampla gama de ferramentas de visualização. Pode -se decidir ir com o Visualizador on -line do Wandb padrão. Ele também gera gráficos altamente informativos, que serão armazenados no diretório logs .

? Contribuindo para a reliability-checklist

Qualquer tipo de contribuição positiva é bem -vinda! Ajude -nos a crescer contribuindo para o projeto.

Se você deseja contribuir, pode trabalhar em quaisquer recursos/problemas listados aqui ou criar um por conta própria. Depois de adicionar seu código, envie -nos uma solicitação de tração.

Leia CONTRIBUTING para obter detalhes sobre nosso CODE OF CONDUCT e o processo para enviar solicitações de puxar para nós.

---

Uma lista de verificação de confiabilidade é construir a confiabilidade dos modelos de idiomas.

Expandir