PineconeUtils

Pineconeutils

O PineconeUtils é um módulo Python projetado para lidar e processar dados para incorporação e indexação usando serviços Pinecone, Cohere e Openai. Este módulo de utilitário facilita o carregamento, a redução, a preparação e o aumento de dados em um índice de pinecone, tornando -o ideal para aplicações que envolvam sistemas de incorporação e recuperação de texto (RAG).

Características

• Carregue dados de texto de arquivos .txt , .docx e .pdf .
• Dados de texto de chunk para processamento.
• Prepare incorporação usando os modelos Cohere ou Openai.
• UPSERT preparou dados em um índice de pinecone.

Instalação

Para instalar PineconeUtils, você pode usar o PIP:

pip install pineconeutils

Uso

Aqui está um exemplo rápido de como usar PineconeUtils:

Configurar

Primeiro, verifique se você possui as teclas de API necessárias e as informações de configuração:

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

Carregar dados

Carregar dados de um formato de arquivo suportado:

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

Dados do processo

Shunk e prepare dados para incorporar:

Para openai

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

Para coere

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

Para mais sobre as incorporações coerentes: coere de incorporação

Dados para cima

Aumentar os dados no Índice Pinecone:

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

Desenvolvimento

Para contribuir para o desenvolvimento de PineconeUtils, você pode clonar o repositório e enviar solicitações de tração.

Apoiar

Se você encontrar algum problema ou tiver dúvidas, registre um problema no repositório do GitHub.

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.