PineconeUtils

Pineconeutils

PineConeutils ist ein Python -Modul, das für die Verarbeitung und Verarbeitung von Daten zum Einbettung und Indizieren mithilfe von Pinecone-, Cohere- und OpenAI -Diensten ausgelegt ist. Dieses Dienstprogrammmodul erleichtert es einfach, Daten in einen Tinecone -Index zu laden, zu steigern, vorzubereiten und zu verbessern. Damit ist es ideal für Anwendungen, die Texteinbettung und Abrufsysteme (RAG) beinhalten.

Merkmale

• Laden Sie Textdaten aus .txt , .docx und .pdf -Dateien.
• Chunk -Textdaten für die Verarbeitung.
• Bereiten Sie Einbettungen entweder Cohere- oder OpenAI -Modelle vor.
• Upsert erstellte Daten in einen Tinecone -Index.

Installation

Um PineConeutils zu installieren, können Sie PIP verwenden:

pip install pineconeutils

Verwendung

Hier ist ein kurzes Beispiel für die Verwendung von Pineconeutils:

Aufstellen

Stellen Sie zunächst sicher, dass Sie über die erforderlichen API -Tasten und -informationen verfügen:

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

Daten laden

Laden Sie Daten aus einem unterstützten Dateiformat:

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

Prozessdaten

Chunk und Bereiten Sie Daten für ein Einbettung vor:

Für Openai

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

Für Cohere

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

Für mehr über Cohere -Einbettungen: Cohere -Einbettungen

Upserdaten

Upserdaten in den Pnecone Index:

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

Entwicklung

Um zur Entwicklung von Pineconeutils beizutragen, können Sie das Repository klonen und Pull -Anfragen einreichen.

Unterstützung

Wenn Sie auf Probleme stoßen oder Fragen haben, stellen Sie bitte ein Problem im GitHub -Repository ein.

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.