ragrank

文档| API参考| QuickStart |加入社区| PYPI |

欢迎来到侵略！该工具包旨在协助您评估检索功能的生成（RAG）应用程序的性能。您将获得适当的指标来评估抹布模型。该产品仍处于beta阶段。

安装

ragrank可作为PYPI软件包使用。要安装它，只需运行：

pip install ragrank

如果您希望从源头安装它：

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

快速开始

将OPENAI_API_KEY设置为环境变量（您还可以使用自己的自定义模型进行评估，请参阅文档：

 export OPENAI_API_KEY= " ... "

这是一个快速示例，说明如何使用rangrank评估生成的响应的相关性：

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()

有关如何使用ragrank及其各种功能的更多信息，请参考文档。

执照

该项目是根据Apache许可证获得许可的。随意使用并根据您的需求进行修改。

反馈和支持

如果您遇到任何问题，有疑问或想提供反馈，请随时在GitHub存储库上打开一个问题。您的贡献和建议非常感谢！

加入我们的社区不和谐，与其他用户联系，提出问题，并与Ragrank分享您的经验。我们在这里可以帮助您充分利用NLP项目！

快乐评估！ ？