ragrank

Dokumentasi | Referensi API | QuickStart | Bergabunglah dengan komunitas | Pypi |

Selamat datang di Ragrank! Toolkit ini dirancang untuk membantu Anda dalam mengevaluasi kinerja aplikasi Generasi Pengambilan (RAG) Anda. Anda akan mendapatkan metrik yang tepat untuk mengevaluasi model RAG. Produk masih dalam tahap beta .

Instalasi

Ragrank tersedia sebagai paket PYPI. Untuk menginstalnya, cukup jalankan:

pip install ragrank

Jika Anda lebih suka menginstalnya dari sumbernya:

git clone https://github.com/Auto-Playground/ragrank.git && cd ragrank
poetry install

Awal yang cepat

Atur OPENAI_API_KEY Anda sebagai variabel lingkungan (Anda juga dapat mengevaluasi menggunakan model kustom Anda sendiri, merujuk dokumen):

 export OPENAI_API_KEY= " ... "

Berikut adalah contoh singkat tentang bagaimana Anda dapat menggunakan RAGRANK untuk mengevaluasi relevansi tanggapan yang dihasilkan:

 from ragrank import evaluate
from ragrank . dataset import from_dict
from ragrank . metric import response_relevancy

# Define your dataset
data = from_dict ({
    "question" : "What is the capital of France?" ,
    "context" : [ "France is famous for its iconic landmarks such as the Eiffel Tower and its rich culinary tradition." ],
    "response" : "The capital of France is Paris." ,
})

# Evaluate the response relevance metric
result = evaluate ( data , metrics = [ response_relevancy ])

# Display the evaluation results
result . to_dataframe ()

Untuk informasi lebih lanjut tentang cara menggunakan Ragrank dan berbagai fiturnya, silakan merujuk ke dokumentasi.

Lisensi

Proyek ini dilisensikan di bawah lisensi Apache. Jangan ragu untuk menggunakan dan memodifikasinya sesuai dengan kebutuhan Anda.

Umpan balik dan dukungan

Jika Anda menghadapi masalah apa pun, memiliki pertanyaan, atau ingin memberikan umpan balik, jangan ragu untuk membuka masalah di repositori GitHub. Kontribusi dan saran Anda sangat dihargai!

Bergabunglah dengan komunitas kami di Discord untuk terhubung dengan pengguna lain, ajukan pertanyaan, dan bagikan pengalaman Anda dengan Ragrank. Kami di sini untuk membantu Anda memaksimalkan proyek NLP Anda!

Selamat mengevaluasi! ?