ragrank 다운로드 ragrank 소스 코드 다운로드

ragrank

AI 소스 코드

v0.0.7

다운로드

문서 | API 참조 | QuickStart | 커뮤니티에 가입하십시오 | pypi |

Ragrank에 오신 것을 환영합니다! 이 툴킷은 RAG (Respreval-Augmented Generation) 응용 프로그램의 성능을 평가하는 데 도움이되도록 설계되었습니다. RAG 모델 평가를위한 적절한 메트릭을 얻을 수 있습니다. 제품은 여전히 beta 단계에 있습니다.

설치

Ragrank는 PYPI 패키지로 제공됩니다. 설치하려면 간단히 실행하십시오.

pip install ragrank

소스에서 설치하는 것을 선호하는 경우 :

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

빠른 시작

OPENAI_API_KEY 를 환경 변수로 설정하십시오 (자신의 사용자 정의 모델을 사용하여 평가할 수도 있고 문서 참조) :

 export OPENAI_API_KEY= " ... "

다음은 Ragrank를 사용하여 생성 된 응답의 관련성을 평가하는 방법에 대한 빠른 예입니다.

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()