PineconeUtils

Pineconeutils

Pineconeutilsは、Pinecone、Cohere、およびOpenaiサービスを使用して埋め込みとインデックス作成のためのデータを処理および処理するように設計されたPythonモジュールです。このユーティリティモジュールを使用すると、データを簡単にロード、チャンク、準備、およびPineconeインデックスに登録できるようになり、テキストの埋め込みおよび検索システム（RAG）を含むアプリケーションに最適です。

特徴

• .txt 、 .docx 、および.pdfファイルのテキストデータをロードします。
• 処理のためのチャンクテキストデータ。
• CohereモデルまたはOpenaiモデルのいずれかを使用して、埋め込みを準備します。
• UpSert準備データはPineconeインデックスに入ります。

インストール

Pineconeutilsをインストールするには、PIPを使用できます。

pip install pineconeutils

使用法

Pineconeutilsの使用方法の簡単な例を次に示します。

設定

まず、必要なAPIキーとセットアップ情報があることを確認してください。

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

データをロードします

サポートされているファイル形式からデータをロードします。

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

データを処理します

埋め込みのためにデータをチャンクして準備します。

Openai用

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

cohereのために

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

co -Hore Embeddingsの詳細：Cohere Embeddings

UPSERTデータ

PineconeインデックスへのデータをupSert：

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

発達

Pineconeutilsの開発に貢献するには、リポジトリをクローンしてプルリクエストを送信できます。

サポート

問題が発生したり、質問がある場合は、GitHubリポジトリに問題を提出してください。

ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。