PineconeUtils

Pignon

PineConeutils est un module Python conçu pour gérer et traiter les données pour l'intégration et l'indexation à l'aide des services de pinecone, de cohere et d'Openai. Ce module utilitaire facilite le chargement, le chunk, la préparation et la mise en œuvre des données dans un index de pinone, ce qui le rend idéal pour les applications impliquant des systèmes d'intégration de texte et de récupération (RAG).

Caractéristiques

• Chargez les données de texte des fichiers .txt , .docx et .pdf .
• Chunk Text Data pour le traitement.
• Préparez des intégres à l'aide de modèles Cohere ou OpenAI.
• Upsert a préparé les données dans un index de poireau.

Installation

Pour installer PineConeutils, vous pouvez utiliser PIP:

pip install pineconeutils

Usage

Voici un exemple rapide de la façon d'utiliser des pinceonutils:

Installation

Tout d'abord, assurez-vous que vous disposez des clés API nécessaires et des informations de configuration:

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

Charger des données

Chargez les données à partir d'un format de fichier pris en charge:

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

Traiter les données

Chunk et préparer des données pour l'intégration:

Pour Openai

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

Pour cohére

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

Pour en savoir plus sur les incorporations de cohére: les incorporations de cohére

Données Upsert

Données UpSert dans l'indice de Pinecone:

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

Développement

Pour contribuer au développement de pinecontitils, vous pouvez cloner le référentiel et soumettre des demandes de traction.

Soutien

Si vous rencontrez des problèmes ou avez des questions, veuillez déposer un problème sur le référentiel GitHub.

Licence

Ce projet est autorisé en vertu de la licence MIT - voir le fichier de licence pour plus de détails.