llm round trip correctness

Rundwegkorrigität zur Bewertung der BPMN-Erzeugung

Beschreibung

Dieses Repository testet die Idee einer Proxy -Bewertungsmethode für Text -to BPMN -Modellpipeline. Die Proxy-Bewertung beinhaltet eine Roundtrip-Pipeline, "Text zu BPMN zu Text" und berechnet einen durchschnittlichen Text zur Textähnlichkeit in Abwesenheit einer Grundwahrheits-BPMN. Um zu zeigen, ob die Proxy -Methode wirksam ist, müssen wir zunächst untersuchen, wie die vorhandene BPMN bis zur BPMN -Bewertung aus dem Modul model_evaluation mit dem Proxy -Text zur Textmethode korreliert. Diese Arbeit ist durch diese Veröffentlichung zu Text zum Code-Roundtripending inspiriert.

Anforderungen und einrichten

Die Anforderungen erfolgen in dieser Datei pYProject.toml. Nach dem Klonen des Repositorys führen Sie aus:

poetry install

Erste Schritte

Verwenden Sie zum Ausführen der Pipeline einen ähnlichen Befehl wie:

screen -d -m python genai_gpt_pipeline.py --model-path ./data/pet/ground_json --text-path ./data/pet/process_descriptions --example pet --direction t2t 

Die CSV -Dateien werden in das Ergebnisverzeichnis geschrieben. Die Jupyter -Notizbücher werden verwendet, um die Ergebnisse zu visualisieren.

Bekannte Probleme

Kein bekanntes Problem.

So erhalten Sie Unterstützung

Erstellen Sie ein Problem in diesem Repository, wenn Sie einen Fehler finden oder Fragen zum Inhalt haben.

Beitragen

Wenn Sie Code beitragen möchten, Fixes oder Verbesserungen anbieten möchten, senden Sie bitte eine Pull -Anfrage. Aus rechtlichen Gründen werden die Mitwirkenden gebeten, einen DCO zu akzeptieren, wenn sie die erste Pull -Anfrage an dieses Projekt erstellen. Dies geschieht automatisiert während des Einreichungsprozesses. SAP verwendet den Standard -DCO -Text der Linux Foundation.

Lizenz

Copyright (C) 2024 SAP SE oder eine SAP -Affiliate -Firma. Alle Rechte vorbehalten. Dieses Projekt ist unter der Apache -Software -Lizenz, Version 2.0, lizenziert.