PineconeUtils

Pineconeutils

Pineconeutils adalah modul Python yang dirancang untuk menangani dan memproses data untuk menanamkan dan pengindeksan menggunakan Pinecone, Cohere, dan Openai Services. Modul utilitas ini memudahkan untuk memuat, memotong, menyiapkan, dan meningkatkan data ke dalam indeks pinecone, membuatnya ideal untuk aplikasi yang melibatkan embedding teks dan pengambilan sistem (RAG).

Fitur

• Muat data teks dari file .txt , .docx , dan .pdf .
• Data teks chunk untuk diproses.
• Siapkan embeddings menggunakan model cohere atau openai.
• Upsert menyiapkan data ke dalam indeks Pinecone.

Instalasi

Untuk memasang Pineconeutils, Anda dapat menggunakan PIP:

pip install pineconeutils

Penggunaan

Berikut adalah contoh singkat tentang cara menggunakan Pineconeutils:

Pengaturan

Pertama, pastikan Anda memiliki kunci API yang diperlukan dan informasi pengaturan:

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

Memuat data

Muat data dari format file yang didukung:

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

Data proses

Chunk dan siapkan data untuk menanamkan:

Untuk openai

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

Untuk cohere

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

Untuk informasi lebih lanjut tentang kohere embeddings: cohere embeddings

Data Upsert

Data UpSert ke indeks Pinecone:

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

Perkembangan

Untuk berkontribusi pada pengembangan Pineconeutils, Anda dapat mengkloning repositori dan mengirimkan permintaan tarik.

Mendukung

Jika Anda menghadapi masalah atau memiliki pertanyaan, silakan ajukan masalah pada repositori GitHub.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.