PineconeUtils

PENECONEUTILS

PENECONEUTILS는 PENECONE, COHERE 및 OPENAI 서비스를 사용하여 임베딩 및 인덱싱을위한 데이터를 처리하고 처리하도록 설계된 파이썬 모듈입니다. 이 유틸리티 모듈을 사용하면 데이터를 피네콘 인덱스로 쉽게로드, 청크, 준비 및 업시 할 수 있으므로 텍스트 임베딩 및 검색 시스템 (RAG)과 관련된 응용 프로그램에 이상적입니다.

특징

• .txt , .docx 및 .pdf 파일에서 텍스트 데이터를로드합니다.
• 처리를위한 청크 텍스트 데이터.
• 코셔 또는 오픈 라이 모델을 사용하여 임베딩을 준비하십시오.
• Upsert 준비 데이터를 Pinecone Index로 사용했습니다.

설치

Pineconeutils를 설치하려면 PIP를 사용할 수 있습니다.

pip install pineconeutils

용법

다음은 PENECONEUTILS를 사용하는 방법에 대한 빠른 예입니다.

설정

먼저 필요한 API 키 및 설정 정보가 있는지 확인하십시오.

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

로드 데이터

지원되는 파일 형식의 데이터로드 :

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

프로세스 데이터

내장을위한 청크 및 준비 : 임베딩 :

Openai의 경우

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

코셔를 위해

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

Cohere Embeddings : Cohere Embedding에 대한 자세한 내용

상향 데이터

파인 네 코 인덱스로의 데이터를 상향 조정 :

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

개발

PENECONEUTIL의 개발에 기여하려면 저장소를 복제하고 풀 요청을 제출할 수 있습니다.

지원하다

문제가 발생하거나 질문이 있으면 Github 저장소에 문제를 제기하십시오.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.