compendiumkeeper

Guardião do Compêndio

O Compêndio Keeper é uma ferramenta que indexa os dados do compêndio (gerados pelo Scribe do Compêndio) em um banco de dados vetorial (como o Pinecone) para os fluxos de trabalho de geração de recuperação de recuperação de energia (RAG).

Características

• Facilmente indexar conceitos de um compêndio em uma loja de vetores.
• Conteúdo do conceito de incorporação, perguntas e palavras -chave usando o OpenAi incorporando.
• Armazene incorporações e metadados em um banco de dados vetorial para recuperação rápida.
• Suporta vários bancos de dados de vetores por meio de uma arquitetura extensível.
• Lida com os formatos de arquivo .compendium.pickle e .compendium.xml .

Requisitos

• Python 3.12+
• O escriba do compêndio deve ser instalado.
• Chave da API OpenAI.
• Chave e ambiente da API Pinecone (se estiver usando Pinecone).

Instalação

1. Clone o repositório

git clone https://github.com/yourusername/compendiumkeeper.git
cd compendiumkeeper

2. Instalar dependências

Certifique -se de ter o PDM instalado. Em seguida, corra:

pdm install

Configuração

Crie um arquivo .env no diretório raiz do projeto para armazenar suas chaves e configurações da API. Você pode usar o .env.example fornecido como um modelo.

Exemplo de arquivo .env

 # .env.example

# OpenAI API Key for generating embeddings
OPENAI_API_KEY = sk-your-openai-api-key

# Pinecone API Key and Environment
PINECONE_API_KEY = your-pinecone-api-key
PINECONE_ENVIRONMENT = us-east-1-aws

Renomeie .env.example para .env e substitua os valores de espaço reservado pelas suas teclas de API reais.

Uso

1. Gerar um compêndio usando escriba do compêndio

compendium-scribe-create-compendium --domain " Cell Biology "

Isso produz arquivos como cell_biology_2024-12-05.compendium.pickle e cell_biology_2024-12-05.compendium.xml .

2. Indexado o compêndio

Use a opção --compendium-file para especificar o arquivo de compêndio (pickle ou xml).
Você também deve especificar o nome do índice do banco de dados do vetor usando a opção --index-name .

Verifique se o seu arquivo .env está configurado corretamente com as teclas de API necessárias.

Índice de um arquivo de picles

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.pickle --index-name my_knowledge_index

Índice de um arquivo XML

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.xml --index-name my_knowledge_index

3. Verifique a indexação

Após a execução bem -sucedida, você deve ver uma mensagem de confirmação indicando o número de conceitos indexados.

 Indexed 25 concepts from domain 'Cell Biology' into index 'my_knowledge_index'.
Indexing complete!

4. Combine múltiplas Compendia

Para criar uma única base de conhecimento que abrange múltiplas Compendia, repita o processo de indexação para cada compêndio, usando o mesmo --index-name .

Por exemplo:

pdm run compendium-keeper index --compendium-file django_2024-12-10.compendium.pickle --index-name all_python_knowledge
pdm run compendium-keeper index --compendium-file flask_2024-12-10.compendium.xml --index-name all_python_knowledge

Isso mesclará o conhecimento de múltiplas compêndios no mesmo índice de banco de dados vetorial.

Extensibilidade

• Múltiplos bancos de dados de vetores : a arquitetura permite adicionar suporte a outros bancos de dados de vetores (por exemplo, waviate, Chromadb), implementando novas classes no diretório vector_db/ .
• Estratégias de incorporação personalizadas : modifique ou estenda utils.py para personalizar como as incorporações são geradas ou processadas.

Fluxo de trabalho do desenvolvedor

1. Configurar variáveis ​​de ambiente

   Crie um arquivo .env como descrito acima.

2. Gerar um compêndio

   Use o Scribe do Compêndio para gerar um compêndio no formato Pickle ou XML.

3. Índice com compêndio

   Execute o comando de indexação para fazer upload de incorporação no banco de dados vetorial escolhido.

Solução de problemas

• Falta as chaves da API

  Verifique se o seu arquivo .env contém todas as teclas de API necessárias. A CLI o notificará, se houver algum.

• DB de vetor não suportado

  Atualmente, apenas o Pinecone é suportado. Para adicionar suporte para outro banco de dados vetorial, implemente uma nova classe em vector_db/ aderência à classe base VectorDatabase .

• Problemas de formato de arquivo

  Certifique-se de que o --compendium-file você forneça fins em .compendium.pickle ou .compendium.xml . Arquivos com outras extensões não são suportados.

• Limites da taxa de API

  Esteja atento aos limites da taxa de API da OpenAI ao indexar grandes compendia. Considere implementar lotes ou limitação de taxa, se necessário.

Contribuindo

As contribuições são bem -vindas! Sinta -se à vontade para abrir um problema ou enviar uma solicitação de tração.

Licença

O Keeper do Compêndio é liberado sob a licença do MIT.