ragrank

文檔| API參考| QuickStart |加入社區| PYPI |

歡迎來到侵略！該工具包旨在協助您評估檢索功能的生成（RAG）應用程序的性能。您將獲得適當的指標來評估抹布模型。該產品仍處於beta階段。

安裝

ragrank可作為PYPI軟件包使用。要安裝它，只需運行：

pip install ragrank

如果您希望從源頭安裝它：

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

快速開始

將OPENAI_API_KEY設置為環境變量（您還可以使用自己的自定義模型進行評估，請參閱文檔：

 export OPENAI_API_KEY= " ... "

這是一個快速示例，說明如何使用rangrank評估生成的響應的相關性：

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()

有關如何使用ragrank及其各種功能的更多信息，請參考文檔。

執照

該項目是根據Apache許可證獲得許可的。隨意使用並根據您的需求進行修改。

反饋和支持

如果您遇到任何問題，有疑問或想提供反饋，請隨時在GitHub存儲庫上打開一個問題。您的貢獻和建議非常感謝！

加入我們的社區不和諧，與其他用戶聯繫，提出問題，並與Ragrank分享您的經驗。我們在這裡可以幫助您充分利用NLP項目！

快樂評估！ ？