reliability checklist

如何安裝？

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

如何使用？

用默認配置評估示例模型/數據

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

通過選擇的數據集特定實驗配置從Reliaper_checklist/configs/task/task/

recheck tasl= < task_name >

指定自定義model_name，如下MNLI示例所示

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli " 

添加custom_model配置

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

結果的可視化

reliability-checklist支持廣泛的可視化工具。可以決定使用默認的Wandb在線可視化器。它還生成了非常有用的圖，這些圖將存儲在logs目錄中。

？有助於reliability-checklist

歡迎任何積極的貢獻！請通過為該項目做出貢獻來幫助我們成長。

如果您想貢獻，則可以處理此處列出的任何功能/問題，也可以自己創建一個功能/問題。添加代碼後，請向我們發送拉動請求。

請閱讀有關我們的CODE OF CONDUCT CONTRIBUTING信息以及向我們提交拉的請求的過程的詳細信息。

---

配立可靠性檢查清單的是構建語言模型的可靠性。

展開