reliability checklist herunterladen - reliability checklist Quellencode herunterladen

reliability checklist

AI-Quellcode

v0.1.0

Herunterladen

Wie installiere ich?

pip install git+https://github.com/Maitreyapatel/reliability-checklist

python -m spacy download en_core_web_sm
python -c " import nltk;nltk.download('wordnet') "

Wie benutze ich?

Bewerten Sie Beispielmodell/Daten mit Standardkonfiguration

 # eval on CPU
recheck

# eval on GPU
recheck trainer=gpu +trainer.gpus=[1,2,3]

Bewerten Sie das Modell mit ausgewählten datensatzspezifischen Experimentkonfiguration aus RUFGIALY_checklist/Configs/Task/

recheck tasl= < task_name >

Geben Sie den benutzerdefinierten model_name an, wie im folgenden MNLI -Beispiel gezeigt

 # if model_name is used for tokenizer as well.
recheck task=mnli custom_model= " bert-base-uncased-mnli "

# if model_name is different for tokenizer then
recheck task=mnli custom_model= " bert-base-uncased-mnli " custom_model.tokenizer.model_name= " ishan/bert-base-uncased-mnli "

Fügen Sie Custom_Model Config hinzu

 # create config folder structure similar to reliability_checklist/configs/
mkdir ./configs/
mkdir ./configs/custom_model/

# run following command after creating new config file inside ./configs/custom_model/<your-config>.yaml
recheck task=mnli custom_model= < your-config >

Visualisierung der Ergebnisse

reliability-checklist unterstützt die breite Palette der Visualisierungstools. Man kann sich für den Standard -Online -Visualizer für Wandb entscheiden. Es generiert auch Diagramme, die sehr informativ sind, die in logs gespeichert werden.

? Beitrag zur `reliability-checklist`

Jeder positive Beitrag ist willkommen! Bitte helfen Sie uns, zu wachsen, indem Sie zum Projekt beigetragen haben.

Wenn Sie einen Beitrag leisten möchten, können Sie an allen hier aufgeführten Funktionen/Problemen arbeiten oder selbst eines erstellen. Nachdem Sie Ihren Code hinzugefügt haben, senden Sie uns bitte eine Pull -Anfrage.