compendiumkeeper

ผู้ดูแลบทสรุป

Compendium Keeper เป็นเครื่องมือที่จัดทำดัชนีข้อมูลบทสรุป (สร้างโดย Compendium Scribe) ลงในฐานข้อมูลเวกเตอร์ (เช่น pinecone) เพื่อการดึงพลังงาน-Augmented Generation (RAG)

คุณสมบัติ

• ดัชนีแนวคิดได้อย่างง่ายดายจากบทสรุปไปยังร้านค้าเวกเตอร์
• ฝังเนื้อหาแนวคิดคำถามและคำหลักโดยใช้ OpenAI EMBEDDINGS
• จัดเก็บการฝังและข้อมูลเมตาในฐานข้อมูลเวกเตอร์เพื่อการดึงข้อมูลอย่างรวดเร็ว
• รองรับฐานข้อมูลเวกเตอร์หลายตัวผ่านสถาปัตยกรรมที่ขยายได้
• จัดการทั้ง .compendium.pickle และ .compendium.xml รูปแบบไฟล์

ความต้องการ

• Python 3.12+
• บทสรุปต้องติดตั้ง Scribe
• คีย์ OpenAI API
• ปุ่ม Pinecone API และสภาพแวดล้อม (ถ้าใช้ pinecone)

การติดตั้ง

1. โคลนที่เก็บ

git clone https://github.com/yourusername/compendiumkeeper.git
cd compendiumkeeper

2. ติดตั้งการพึ่งพา

ตรวจสอบให้แน่ใจว่าคุณติดตั้ง PDM แล้ว จากนั้นเรียกใช้:

pdm install

การกำหนดค่า

สร้างไฟล์ .env ในไดเรกทอรีรูทของโครงการเพื่อจัดเก็บคีย์ API และการกำหนดค่าของคุณ คุณสามารถใช้ .env.example เป็นเทมเพลต

ตัวอย่างไฟล์ .env

 # .env.example

# OpenAI API Key for generating embeddings
OPENAI_API_KEY = sk-your-openai-api-key

# Pinecone API Key and Environment
PINECONE_API_KEY = your-pinecone-api-key
PINECONE_ENVIRONMENT = us-east-1-aws

เปลี่ยนชื่อ .env.example เป็น .env และแทนที่ค่าตัวยึดตำแหน่งด้วยคีย์ API จริงของคุณ

การใช้งาน

1. สร้างบทสรุปโดยใช้บทสรุป

compendium-scribe-create-compendium --domain " Cell Biology "

สิ่งนี้สร้างไฟล์เช่น cell_biology_2024-12-05.compendium.pickle และ cell_biology_2024-12-05.compendium.xml

2. ดัชนีบทสรุป

ใช้ตัวเลือก --compendium-file เพื่อระบุไฟล์บทสรุป (ผักดองหรือ XML)
คุณ ต้อง ระบุชื่อดัชนีฐานข้อมูลเวกเตอร์โดยใช้ตัวเลือก --index-name

ตรวจสอบให้แน่ใจว่าไฟล์ .env ของคุณได้รับการกำหนดค่าอย่างถูกต้องด้วยปุ่ม API ที่จำเป็น

ดัชนีจากไฟล์ดอง

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.pickle --index-name my_knowledge_index

ดัชนีจากไฟล์ XML

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.xml --index-name my_knowledge_index

3. ตรวจสอบการจัดทำดัชนี

หลังจากการดำเนินการที่ประสบความสำเร็จคุณควรเห็นข้อความยืนยันที่ระบุจำนวนแนวคิดที่จัดทำดัชนี

 Indexed 25 concepts from domain 'Cell Biology' into index 'my_knowledge_index'.
Indexing complete!

4. รวมหลายบทสรุป

ในการสร้างฐานความรู้เดียวที่ครอบคลุมหลายบทสรุปให้ทำซ้ำกระบวนการจัดทำดัชนีสำหรับแต่ละบทสรุปโดยใช้ --index-name เดียวกัน

ตัวอย่างเช่น:

pdm run compendium-keeper index --compendium-file django_2024-12-10.compendium.pickle --index-name all_python_knowledge
pdm run compendium-keeper index --compendium-file flask_2024-12-10.compendium.xml --index-name all_python_knowledge

สิ่งนี้จะรวมความรู้จากหลายบทสรุปไว้ในดัชนีฐานข้อมูลเวกเตอร์เดียวกัน

ความสามารถในการขยายได้

• ฐานข้อมูลเวกเตอร์หลายฐานข้อมูล : สถาปัตยกรรมอนุญาตให้เพิ่มการสนับสนุนสำหรับฐานข้อมูลเวกเตอร์อื่น ๆ (เช่นทอ, Chromadb) โดยการใช้คลาสใหม่ใน vector_db/ Directory
• กลยุทธ์การฝังที่กำหนดเอง : แก้ไขหรือขยาย utils.py เพื่อปรับแต่งวิธีการสร้างหรือประมวลผล

เวิร์กโฟลว์นักพัฒนา

1. ตั้งค่าตัวแปรสภาพแวดล้อม

   สร้างไฟล์ .env ตามที่อธิบายไว้ข้างต้น

2. สร้างบทสรุป

   ใช้บทสรุป Scribe เพื่อสร้างบทสรุปในรูปแบบดองหรือ XML

3. ดัชนีกับผู้รักษาบทสรุป

   เรียกใช้คำสั่งการจัดทำดัชนีเพื่ออัปโหลด EMBEDDING ไปยังฐานข้อมูลเวกเตอร์ที่คุณเลือก

การแก้ไขปัญหา

• ขาดคีย์ API

  ตรวจสอบให้แน่ใจว่าไฟล์ .env ของคุณมีคีย์ API ที่จำเป็นทั้งหมด CLI จะแจ้งให้คุณทราบหากมีสิ่งใดหายไป

• DB เวกเตอร์ที่ไม่ได้รับการสนับสนุน

  ปัจจุบันรองรับ Pinecone เท่านั้น ในการเพิ่มการสนับสนุนสำหรับฐานข้อมูลเวกเตอร์อื่นให้ใช้คลาสใหม่ใน vector_db/ adhering ไปยังคลาสพื้นฐาน VectorDatabase

• ปัญหารูปแบบไฟล์

  ตรวจสอบให้แน่ใจว่า --compendium-file ที่คุณให้สิ้นสุดใน .compendium.pickle หรือ .compendium.xml ไม่รองรับไฟล์ที่มีส่วนขยายอื่น ๆ

• ขีด จำกัด อัตรา API

  ระวังขีด จำกัด อัตรา API ของ Openai เมื่อจัดทำดัชนีบทสรุปขนาดใหญ่ พิจารณาการใช้การแบทช์หรือการ จำกัด อัตราหากจำเป็น

การบริจาค

ยินดีต้อนรับ! อย่าลังเลที่จะเปิดปัญหาหรือส่งคำขอดึง

ใบอนุญาต

บทสรุปผู้รักษาประตูได้รับการปล่อยตัวภายใต้ใบอนุญาต MIT