llm round trip correctness

Correção de ida e volta para avaliar a geração BPMN

Descrição

Este repositório testa a idéia de um método de avaliação de proxy para texto do pipeline do modelo BPMN. A avaliação de proxy envolve um pipeline de ida e volta, "texto para BPMN para texto" e calculando um texto médio para a similaridade do texto na ausência de um bpmn da verdade do solo. Para mostrar se o método proxy é eficaz, primeiro devemos investigar como a avaliação BPMN existente para BPMN do módulo Model_Evaluation se correlaciona com o método de texto proxy no texto. Este trabalho é inspirado nesta publicação sobre texto para codificar a rodada de ida e volta.

Requisitos e configuração

Os requisitos estão neste arquivo pyProject.toml. Depois de clonar o repositório, execute:

poetry install

Começando

Para executar o pipeline, use um comando semelhante a este:

screen -d -m python genai_gpt_pipeline.py --model-path ./data/pet/ground_json --text-path ./data/pet/process_descriptions --example pet --direction t2t 

Os arquivos CSV são gravados no diretório de resultados. Os notebooks Jupyter são usados ​​para visualizar os resultados.

Questões conhecidas

Nenhum problema conhecido.

Como obter apoio

Crie um problema neste repositório se você encontrar um bug ou tiver dúvidas sobre o conteúdo.

Contribuindo

Se você deseja contribuir com código, ofereça correções ou melhorias, envie uma solicitação de tração. Por razões legais, os colaboradores deverão aceitar um DCO quando criarem a primeira solicitação de tração para este projeto. Isso acontece de maneira automatizada durante o processo de envio. A SAP usa o texto DCO padrão da fundação Linux.

Licença

Copyright (C) 2024 SAP SE ou uma empresa afiliada da SAP. Todos os direitos reservados. Este projeto está licenciado sob a licença de software Apache, versão 2.0.