reliability checklist

설치 방법?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

사용 방법?

기본 구성으로 예제 모델/데이터를 평가하십시오

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

Reliability_checklist/configs/task/에서 선택한 데이터 세트 별 실험 구성으로 모델 평가/

recheck tasl= < task_name >

다음 mnli 예제에 표시된대로 사용자 정의 model_name을 지정하십시오.

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli " 

custom_model config를 추가하십시오

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

결과 시각화

reliability-checklist 광범위한 시각화 도구를 지원합니다. Default Wandb Online Visualizer와 함께 가기로 결정할 수 있습니다. 또한 logs 디렉토리에 저장 될 유익한 유익한 플롯을 생성합니다.

? reliability-checklist 에 기여합니다

모든 종류의 긍정적 인 기여를 환영합니다! 프로젝트에 기여하여 성장하도록 도와주세요.

기여하려면 여기에 나열된 기능/문제를 해결하거나 직접 작성할 수 있습니다. 코드를 추가 한 후 풀 요청을 보내주십시오.

당사의 CODE OF CONDUCT 에 대한 자세한 내용과 당사에 풀 요청을 제출하는 프로세스는 CONTRIBUTING 읽으십시오.

---

신뢰성 검사 목록에 대한 ️ 언어 모델의 신뢰성을 구축하는 것입니다.

확장하다