PineconeUtils

Pineconeutils

Pineconeutils es un módulo de Python diseñado para manejar y procesar datos para integrar e indexar utilizando los servicios Pinecone, Cohere y OpenAI. Este módulo de utilidad hace que sea fácil cargar, fragmentar, preparar y aumentar los datos en un índice de piña, lo que lo hace ideal para aplicaciones que involucran a los sistemas de incrustación y recuperación de texto (RAG).

Características

• Cargue datos de texto de los archivos .txt , .docx y .pdf .
• Datos de texto para el procesamiento.
• Prepare incrustaciones utilizando modelos Cohere o OpenAI.
• Upsert preparó datos en un índice de piña.

Instalación

Para instalar pineconeutils, puede usar PIP:

pip install pineconeutils

Uso

Aquí hay un ejemplo rápido de cómo usar pineconeutils:

Configuración

Primero, asegúrese de tener las claves API necesarias y la información de configuración:

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

Cargar datos

Cargar datos de un formato de archivo compatible:

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

Datos de procesos

Fragmentar y preparar datos para la incrustación:

Para OpenAi

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

Para el coherente

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

Para obtener más información sobre los incrustaciones de coherencia: cohere incrustaciones

Datos de upsert

Datos Upsert en el índice Pinecone:

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

Desarrollo

Para contribuir al desarrollo de pineconeutils, puede clonar el repositorio y enviar solicitudes de extracción.

Apoyo

Si encuentra algún problema o tiene preguntas, presente un problema en el repositorio de GitHub.

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.