compendiumkeeper

Penjaga Kompendium

Kompendium Keeper adalah alat yang mengindeks data ringkasan (dihasilkan oleh Compendium Scribe) ke dalam basis data vektor (seperti Pinecone) untuk alur kerja Power Retrieval-Agusted Generation (RAG).

Fitur

• Konsep indeks dengan mudah dari ringkasan ke toko vektor.
• Embed konten konsep, pertanyaan, dan kata kunci menggunakan embeddings openai.
• Simpan embeddings dan metadata dalam database vektor untuk pengambilan cepat.
• Mendukung banyak database vektor melalui arsitektur yang dapat diperluas.
• Menangani format file .compendium.pickle dan .compendium.xml .

Persyaratan

• Python 3.12+
• Compendium Scribe harus dipasang.
• Kunci API Openai.
• Pinecone API Kunci dan lingkungan (jika menggunakan Pinecone).

Instalasi

1. Klon Repositori

git clone https://github.com/yourusername/compendiumkeeper.git
cd compendiumkeeper

2. Instal dependensi

Pastikan Anda menginstal PDM. Kemudian jalankan:

pdm install

Konfigurasi

Buat file .env di direktori root proyek untuk menyimpan kunci dan konfigurasi API Anda. Anda dapat menggunakan .env.example yang disediakan sebagai templat.

Contoh file .env

 # .env.example

# OpenAI API Key for generating embeddings
OPENAI_API_KEY = sk-your-openai-api-key

# Pinecone API Key and Environment
PINECONE_API_KEY = your-pinecone-api-key
PINECONE_ENVIRONMENT = us-east-1-aws

Ganti nama .env.example menjadi .env dan ganti nilai placeholder dengan kunci API Anda yang sebenarnya.

Penggunaan

1. Menghasilkan ringkasan menggunakan juru tulis ringkasan

compendium-scribe-create-compendium --domain " Cell Biology "

Ini menghasilkan file seperti cell_biology_2024-12-05.compendium.pickle dan cell_biology_2024-12-05.compendium.xml .

2. Indeks ringkasan

Gunakan opsi --compendium-file untuk menentukan file ringkasan (acar atau xml).
Anda juga harus menentukan nama indeks basis data vektor menggunakan opsi --index-name .

Pastikan file .env Anda dikonfigurasi dengan benar dengan tombol API yang diperlukan.

Indeks dari file acar

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.pickle --index-name my_knowledge_index

Indeks dari file XML

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.xml --index-name my_knowledge_index

3. Verifikasi pengindeksan

Setelah eksekusi yang berhasil, Anda akan melihat pesan konfirmasi yang menunjukkan jumlah konsep yang diindeks.

 Indexed 25 concepts from domain 'Cell Biology' into index 'my_knowledge_index'.
Indexing complete!

4. Gabungkan beberapa ringkasan

Untuk membuat basis pengetahuan tunggal yang mencakup beberapa ringkasan, ulangi proses pengindeksan untuk setiap ringkasan, menggunakan --index-name .

Misalnya:

pdm run compendium-keeper index --compendium-file django_2024-12-10.compendium.pickle --index-name all_python_knowledge
pdm run compendium-keeper index --compendium-file flask_2024-12-10.compendium.xml --index-name all_python_knowledge

Ini akan menggabungkan pengetahuan dari beberapa ringkasan ke dalam indeks database vektor yang sama.

Kemungkinan diperpanjang

• Beberapa database vektor : Arsitektur memungkinkan untuk menambahkan dukungan untuk database vektor lainnya (misalnya, Weaviate, ChromAdb) dengan mengimplementasikan kelas -kelas baru di vector_db/ direktori.
• Strategi penyematan khusus : Modifikasi atau memperluas utils.py untuk menyesuaikan bagaimana embeddings dihasilkan atau diproses.

Alur kerja pengembang

1. Mengatur variabel lingkungan

   Buat file .env seperti dijelaskan di atas.

2. Menghasilkan ringkasan

   Gunakan Compendium Scribe untuk menghasilkan ringkasan dalam format acar atau xml.

3. Indeks dengan penjaga ringkasan

   Jalankan perintah pengindeksan untuk mengunggah embeddings ke database vektor yang Anda pilih.

Pemecahan masalah

• Kunci API yang hilang

  Pastikan file .env Anda berisi semua tombol API yang diperlukan. CLI akan memberi tahu Anda jika ada yang hilang.

• DB vektor yang tidak didukung

  Saat ini, hanya pinus yang didukung. Untuk menambahkan dukungan untuk database vektor lain, terapkan kelas baru di vector_db/ menempel pada kelas dasar abstrak VectorDatabase .

• Masalah format file

  Pastikan- --compendium-file yang Anda berikan di ujung. .compendium.pickle atau .compendium.xml . File dengan ekstensi lain tidak didukung.

• Batas tingkat API

  Berhati -hatilah dengan batas tingkat API Openai saat mengindeks ringkasan besar. Pertimbangkan menerapkan batching atau pembatasan tingkat jika perlu.

Berkontribusi

Kontribusi dipersilakan! Jangan ragu untuk membuka masalah atau mengirimkan permintaan tarik.

Lisensi

Kompendium Keeper dirilis di bawah lisensi MIT.