reliability checklist

如何安装？

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

如何使用？

用默认配置评估示例模型/数据

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

通过选择的数据集特定实验配置从Reliaper_checklist/configs/task/task/

recheck tasl= < task_name >

指定自定义model_name，如下MNLI示例所示

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli " 

添加custom_model配置

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

结果的可视化

reliability-checklist支持广泛的可视化工具。可以决定使用默认的Wandb在线可视化器。它还生成了非常有用的图，这些图将存储在logs目录中。

？有助于reliability-checklist

欢迎任何积极的贡献！请通过为该项目做出贡献来帮助我们成长。

如果您想贡献，则可以处理此处列出的任何功能/问题，也可以自己创建一个功能/问题。添加代码后，请向我们发送拉动请求。

请阅读有关我们的CODE OF CONDUCT CONTRIBUTING信息以及向我们提交拉的请求的过程的详细信息。

---

配立可靠性检查清单的是构建语言模型的可靠性。

展开