ragrank

Documentación | Referencia de API | Quickset | Únete a la comunidad | Pypi |

¡Bienvenido a Ragrank! Este kit de herramientas está diseñado para ayudarlo a evaluar el rendimiento de sus aplicaciones de generación acuática (RAG) de recuperación. Obtendrá métricas adecuadas para evaluar el modelo RAG. El producto todavía está en la etapa beta .

Instalación

Ragrank está disponible como un paquete PYPI. Para instalarlo, simplemente ejecute:

pip install ragrank

Si prefiere instalarlo desde la fuente:

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

Comienzo rápido

Establezca su OPENAI_API_KEY como una variable de entorno (también puede evaluar con su propio modelo personalizado, consulte documentos):

 export OPENAI_API_KEY= " ... "

Aquí hay un ejemplo rápido de cómo puede usar Ragrank para evaluar la relevancia de las respuestas generadas:

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()

Para obtener más información sobre cómo usar Ragrank y sus diversas características, consulte la documentación.

Licencia

Este proyecto tiene licencia bajo la licencia Apache. Siéntase libre de usarlo y modificarlo de acuerdo con sus necesidades.

Comentarios y apoyo

Si encuentra algún problema, tiene preguntas o desea proporcionar comentarios, no dude en abrir un problema en el repositorio de GitHub. ¡Sus contribuciones y sugerencias son muy apreciadas!

Únase a nuestra comunidad en Discord para conectarse con otros usuarios, hacer preguntas y compartir sus experiencias con Ragrank. ¡Estamos aquí para ayudarlo a aprovechar al máximo sus proyectos de PNL!

¡Feliz evaluación! ?