ragrank

Документация | Ссылка на API | QuickStart | Присоединяйтесь к сообществу | Pypi |

Добро пожаловать в Ragrank! Этот инструментарий предназначен для того, чтобы помочь вам в оценке производительности ваших приложений для получения поколения (RAG). Вы получите надлежащие показатели для оценки модели RAG. Продукт все еще находится на beta -стадии.

Установка

Ragrank доступен в виде пакета PYPI. Чтобы установить его, просто запустите:

pip install ragrank

Если вы предпочитаете установить его из источника:

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

Быстрый старт

Установите свой OPENAI_API_KEY в качестве переменной среды (вы также можете оценить, используя свою собственную модель, обратитесь к документам):

 export OPENAI_API_KEY= " ... "

Вот быстрый пример того, как вы можете использовать Ragrank для оценки актуальности сгенерированных ответов:

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()

Для получения дополнительной информации о том, как использовать Ragrank и его различные функции, пожалуйста, обратитесь к документации.

Лицензия

Этот проект лицензирован по лицензии Apache. Не стесняйтесь использовать и изменить его в соответствии с вашими потребностями.

Обратная связь и поддержка

Если вы столкнетесь с какими -либо проблемами, у вас есть вопросы или хотели бы предоставить обратную связь, пожалуйста, не стесняйтесь открыть проблему в репозитории GitHub. Ваш вклад и предложения высоко ценится!

Присоединяйтесь к нашему сообществу на Discord, чтобы связаться с другими пользователями, задать вопросы и поделиться своим опытом с Ragrank. Мы здесь, чтобы помочь вам максимально использовать ваши проекты NLP!

Счастливой оценки! ?