ragrank

Documentation | Référence de l'API | QuickStart | Rejoignez la communauté | PYPI |

Bienvenue à Ragrank! Cette boîte à outils est conçue pour vous aider à évaluer les performances de vos applications de génération (RAG) (RAG) de récupération. Vous obtiendrez des mesures appropriées pour évaluer le modèle de chiffon. Le produit est toujours en scène beta .

Installation

Ragrank est disponible en tant que package PYPI. Pour l'installer, exécutez simplement:

pip install ragrank

Si vous préférez l'installer à partir de la source:

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

Démarrage rapide

Définissez votre variable OPENAI_API_KEY en tant qu'environnement (vous pouvez également évaluer à l'aide de votre propre modèle personnalisé, référer aux documents):

 export OPENAI_API_KEY= " ... "

Voici un exemple rapide de la façon dont vous pouvez utiliser Ragrank pour évaluer la pertinence des réponses générées:

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()

Pour plus d'informations sur la façon d'utiliser Ragrank et ses différentes fonctionnalités, veuillez vous référer à la documentation.

Licence

Ce projet est concédé sous licence Apache. N'hésitez pas à l'utiliser et à le modifier en fonction de vos besoins.

Commentaires et soutien

Si vous rencontrez des problèmes, avez des questions ou souhaitez fournir des commentaires, n'hésitez pas à ouvrir un problème sur le référentiel GitHub. Vos contributions et suggestions sont très appréciées!

Rejoignez notre communauté sur Discord pour vous connecter avec d'autres utilisateurs, poser des questions et partager vos expériences avec Ragrank. Nous sommes ici pour vous aider à tirer le meilleur parti de vos projets PNL!

Bonne évaluation! ?