PineconeUtils

Pineconeutils

PineConeUtils - это модуль Python, предназначенный для обработки и обработки данных для внедрения и индексации с использованием услуг PineCone, Cohere и OpenAI. Этот утилитный модуль позволяет легко загружать, купить, подготовить и поднять данные в индекс Pinecone, что делает его идеальным для приложений, включающих текстовые системы встраивания и поиска (RAG).

Функции

• Загрузите текстовые данные из файлов .txt , .docx и .pdf .
• Текстовые данные Chunk для обработки.
• Приготовьте встроения, используя либо модели, либо OpenAI.
• Upsert подготовил данные в индекс Pinecone.

Установка

Чтобы установить PineConeutils, вы можете использовать PIP:

pip install pineconeutils

Использование

Вот быстрый пример того, как использовать PineConeutils:

Настраивать

Во -первых, убедитесь, что у вас есть необходимые ключи API и информацию о настройке:

pinecone_api_key = " your_pinecone_api_key "
cohere_api_key = " your_cohere_api_key "
openai_api_key = " your_openai_api_key "
index_name = " your_index_name "
namespace_id = " your_namespace_id "

Загрузить данные

Загрузите данные из поддерживаемого формата файла:

from pineconeutils import PineconeUtils

# Create instance of PineconeUtils
pinecone = PineconeUtils(pinecone_api_key=pinecone_api_key, openai_api_key=openai_api_key,cohere_api_key =cohere_api_key, index_name=index_name, namespace_id=namespace_id)

path = " path_to_your_file.docx "
data = pinecone.load_data(path)
print( " Loaded Data: " , data)

Данные процесса

Купить и подготовить данные для внедрения:

Для Openai

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " text-embedding-ada-002 " , service= " openai " )

Для ковара

chunks = pinecone.chunk_data(data, chunk_size=100, chunk_overlap=10)
print( " Data Chunks: " , chunks)

prepared_data = pinecone.prepare_data(chunks, model= " embed-english-v3.0 " , service= " cohere " ,input_type= " search_document " )

Для получения дополнительной информации о вторжениях Cohere: Cohere Entustdings

Данные Upsert

Данные Upsert в индекс Pinecone:

successful = pinecone.upsert_data(prepared_data)
print( " Data upsertion was " , " successful " if successful else " unsuccessful " )

Разработка

Чтобы внести свой вклад в разработку pineconeutils, вы можете клонировать репозиторий и отправить запросы на притяжение.

Поддерживать

Если вы сталкиваетесь с какими -либо проблемами или у вас есть вопросы, пожалуйста, подайте проблему в репозитории GitHub.

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.