GraphRAGlet

Graphraglet - bekerja sedang berlangsung

Adaptasi "sebagian besar cara di sana" yang ringan dari paket graphrag.

Apa yang membuat GraphRaglet berbeda dari GraphRag?

Tujuan Graphraglet adalah untuk menjadi mesin pencari kain yang lebih murah untuk diindeks tetapi memiliki strenghts yang sama dengan Graphrag. Dalam graphrag biasa, pengindeksan (membangun grafik pengetahuan) mahal. Graphraglet bertujuan untuk graphraglet membahas hal ini dengan membangun grafik pengetahuan melalui embeddings alih -alih mengekstraksi entitas, hubungan, dan fakta dengan LLM. Ini lebih murah.

Namun, Graphrag bertujuan untuk "pemahaman global" dari korpus, sehingga korpus asli tidak diperlukan untuk ringkasan komunitas grafik pengetahuan. Ini bukan kasus untuk Graphraglet, yang bertujuan untuk mengembalikan dokumen yang paling relevan untuk kueri.

Bagaimana cara kerja graphraglet?

1. Buat unit teks dari corpus
2. Hasilkan semantik embeddings untuk unit-teks dan bangun grafik pengetahuan melalui ambang batas cutoff.
3. Deteksi Komunitas pada Grafik Pengetahuan (menggunakan algoritma Leiden)
4. Menghasilkan ringkasan komunitas

Kemudian, dengan grafik pengetahuan augmented ini, kami dapat menerapkan strategi pencarian berikut:

• Pencarian Global:
  1. Menyematkan pencarian pada ringkasan komunitas
  2. Rag pada komunitas yang paling relevan
• Pencarian Lokal: Temukan dokumen yang paling relevan untuk kueri dalam komunitas tertentu.

Dev todo

• Siapkan logging
• Chunking yang lebih baik dari unit teks
• Menerapkan pencarian
  • Pencarian Global
    • parameterisasi
  • Pencarian Lokal
  • Pencarian drift
• Evaluasi dan pengujian pengaturan
  • Multihop
• Tambahkan dukungan untuk GROQ atau penyedia LLAMA lainnya
• Gunakan UMAP untuk mengurangi dimensi embeddings untuk penambangan hubungan
• Paralelisasi