ragrank

Documentação | Referência da API | QuickStart | Junte -se à comunidade | Pypi |

Bem -vindo ao Ragrank! Este kit de ferramentas foi projetado para ajudá-lo a avaliar o desempenho de seus aplicativos de geração de recuperação de recuperação (RAG). Você obterá métricas adequadas para avaliar o modelo de pano. O produto ainda está no estágio beta .

Instalação

O Ragrank está disponível como um pacote Pypi. Para instalá -lo, basta executar:

pip install ragrank

Se você preferir instalá -lo da fonte:

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

Início rápido

Defina seu OPENAI_API_KEY como uma variável de ambiente (você também pode avaliar usando seu próprio modelo personalizado, consulte os documentos):

 export OPENAI_API_KEY= " ... "

Aqui está um exemplo rápido de como você pode usar o Ragrank para avaliar a relevância das respostas geradas:

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()

Para obter mais informações sobre como usar o Ragrank e seus vários recursos, consulte a documentação.

Licença

Este projeto está licenciado sob a licença Apache. Sinta -se à vontade para usá -lo e modificá -lo de acordo com suas necessidades.

Feedback e suporte

Se você encontrar algum problema, ter dúvidas ou gostaria de fornecer feedback, não hesite em abrir um problema no repositório do GitHub. Suas contribuições e sugestões são muito apreciadas!

Junte -se à nossa comunidade no Discord para se conectar com outros usuários, fazer perguntas e compartilhar suas experiências com o Ragrank. Estamos aqui para ajudá -lo a aproveitar ao máximo seus projetos de PNL!

Feliz avaliação! ?