pdf bundle

PDF -пакет

Этот проект «Take Home» был спроектирован в течение периода времени менее 72 часов, что служит шагом в процессе найма для роли старшего MLOP.

PDF -комплект - это инструмент, предназначенный для извлечения текста из PDF -документов, хранящихся в ведре AWS S3, разбивает эти документы на более мелкие части и генерируют векторные встраивания с использованием трансформатора предложения. Эти встраивания затем хранятся в базе данных векторных векторных векторов для эффективного хранения и поиска.

PDF-пакет предоставляет удобный интерфейс через FastAPI. Конечная точка query_search облегчает поиск на основе быстрого поиска, позволяя пользователям вводить запросы и быстро извлекать наиболее похожие векторные встроения. Это сходство определяется с использованием сходства косинуса, мера, которая отражает семантическое сходство между векторами. При упрощении ответа на удобство использования, PDF -пакет обеспечивает прозрачность, автоматически загружая подробные ответы на ведро S3. Благодаря бесшовной интеграции и надежной функциональности, PDF -пакет эффективно раскрывает наиболее похожие векторные вторжения.

Функции

• Извлеките текст из PDF -документов, хранящихся в ведре AWS S3.
• Разделите документы на более мелкие части для эффективной обработки.
• Используйте трансформатор предложений для генерации векторных встроений для каждой части документа.
• Используйте FASTAPI, чтобы создать конечную точку API для запроса аналогичных встроений на основе определенных пользовательских подсказок.
• Хранить и запрашивать векторные встроены в базу данных Vector Pinecone для легкого управления и поиска.
• Позвольте пользователям находить наиболее похожие k -векторы, назначив целочисленное n_top.

Использование

1. Убедитесь, что на следующем сервере работает сервер API PDF -пакета:

   Приложение развернуто и доступно по адресу: Railway.

   ПРЕДУПРЕЖДЕНИЕ: Свободный экземпляр раскручивания

   Обратите внимание, что свободный экземпляр, предоставленный рендерингом, может испытывать раскрытие из-за бездействия. Это может привести к задержкам в 50 секунд или более при обработке запросов. Пожалуйста, будьте терпеливы, пока ваш веб -браузер пытается загрузить страницу.

2. Отправить запрос сообщения в API Endpoint /query_search со следующей полезной нагрузкой JSON:

   {
       "prompt" : " your_user_defined_prompt " ,
       "n_top" : 5
   }

   Замените "your_user_defined_prompt" на подсказку, которую вы хотите использовать, "n_top" на количество похожих встроений, которые вы хотите получить на основе симуляции косинуса.

3. Получите ответ, содержащий наиболее похожие встраивания на предоставленную подсказку.

Внося

Взносы приветствуются! Пожалуйста, не стесняйтесь отправлять запрос на привлечение или открыть проблему, если вы сталкиваетесь с какими -либо ошибками или у вас есть предложения для улучшений.

Благодарности

• AWS SDK для Python (Boto3)
• Предложения трансформаторы
• FASTAPI
• Pinecone

Контакт

Для любых запросов или поддержки, пожалуйста, свяжитесь с [email protected]