compendiumkeeper

Guardián del compendio

Compendium Keeper es una herramienta que indexa los datos de Compendium (generados por Compendium Scribe) en una base de datos de vectores (como Pinecone) a flujos de trabajo de generación (RAG) de recuperación de energía.

Características

• Indexe fácilmente los conceptos de un compendio a una tienda vectorial.
• Incorporar contenido conceptual, preguntas y palabras clave utilizando incrustaciones de OpenAI.
• Almacene los incrustaciones y los metadatos en una base de datos vectorial para una recuperación rápida.
• Admite múltiples bases de datos vectoriales a través de una arquitectura extensible.
• Maneja ambos .compendium.pickle y .compendium.xml Formatos de archivo.

Requisitos

• Python 3.12+
• Se debe instalar el escriba Compendium.
• Clave de API de OpenAI.
• La tecla API de Pinecone y el entorno (si se usa Pinecone).

Instalación

1. Clonar el repositorio

git clone https://github.com/yourusername/compendiumkeeper.git
cd compendiumkeeper

2. Instalar dependencias

Asegúrese de tener PDM instalado. Luego corre:

pdm install

Configuración

Cree un archivo .env en el directorio raíz del proyecto para almacenar sus claves y configuración API. Puede usar el .env.example provisto como plantilla.

Ejemplo .env archivo

 # .env.example

# OpenAI API Key for generating embeddings
OPENAI_API_KEY = sk-your-openai-api-key

# Pinecone API Key and Environment
PINECONE_API_KEY = your-pinecone-api-key
PINECONE_ENVIRONMENT = us-east-1-aws

Cambiar el nombre .env.example a .env y reemplace los valores del marcador de posición con sus claves API reales.

Uso

1. Generar un compendio usando el escriba Compendium

compendium-scribe-create-compendium --domain " Cell Biology "

Esto produce archivos como cell_biology_2024-12-05.compendium.pickle y cell_biology_2024-12-05.compendium.xml .

2. Indexar el compendio

Use la opción --compendium-file para especificar el archivo de Compendium (Pickle o XML).
También debe especificar el nombre del índice de la base de datos de vector utilizando la opción --index-name .

Asegúrese de que su archivo .env esté configurado correctamente con las claves API necesarias.

Índice de un archivo de encurtido

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.pickle --index-name my_knowledge_index

Índice de un archivo XML

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.xml --index-name my_knowledge_index

3. Verificar la indexación

Después de una ejecución exitosa, debe ver un mensaje de confirmación que indique el número de conceptos indexados.

 Indexed 25 concepts from domain 'Cell Biology' into index 'my_knowledge_index'.
Indexing complete!

4. Combinar compendios múltiples

Para crear una única base de conocimiento que abarque múltiples compendios, repita el proceso de indexación para cada compendio, utilizando el mismo --index-name .

Por ejemplo:

pdm run compendium-keeper index --compendium-file django_2024-12-10.compendium.pickle --index-name all_python_knowledge
pdm run compendium-keeper index --compendium-file flask_2024-12-10.compendium.xml --index-name all_python_knowledge

Esto fusionará el conocimiento de los compendios múltiples en el mismo índice de base de datos vectorial.

Extensibilidad

• Bases de datos vectoriales múltiples : la arquitectura permite agregar soporte para otras bases de datos vectoriales (p. Ej vector_db/
• Estrategias de incrustación personalizadas : modifique o extienda utils.py para personalizar cómo se generan o procesan los incrustaciones.

Flujo de trabajo del desarrollador

1. Configurar variables de entorno

   Cree un archivo .env como se describió anteriormente.

2. Generar un compendio

   Use el escriba Compendium para generar un compendio en encurtido o formato XML.

3. Índice con guardián de compendio

   Ejecute el comando de indexación para cargar incrustaciones en su base de datos vectorial elegida.

Solución de problemas

• Llaves de API faltantes

  Asegúrese de que su archivo .env contenga todas las claves API requeridas. La CLI le notificará si falta alguno.

• Vector DB no compatible

  Actualmente, solo es compatible con Pinecone. Para agregar soporte para otra base de datos vectorial, implementa una nueva clase en vector_db/ Adhying a la clase base abstracta VectorDatabase .

• Problemas de formato de archivo

  Asegúrese de que el --compendium-file que proporcione termina en .compendium.pickle o .compendium.xml . Los archivos con otras extensiones no son compatibles.

• Límites de tasa de API

  Tenga en cuenta los límites de velocidad de API de OpenAI al indexar grandes compendios. Considere la implementación de lotes o limitación de tasas si es necesario.

Que contribuye

¡Las contribuciones son bienvenidas! No dude en abrir un problema o enviar una solicitud de extracción.

Licencia

Compendium Keeper se libera bajo la licencia MIT.