multi modal document search

Многомодальный поиск документов

В качестве довольно быстрого проекта, этот репозиторий предоставляет приложение для упорядочения, которое позволяет пользователю загружать скриншот, который будет запрашивать базу данных PDF -документов. Как структура изображения, так и (возможно) включенный текст, используются для поиска соответствующих документов для самоопределенного набора.

Процесс запроса

Когда пользователь загружает скриншот, запускаются два потока. Сначала мы строим изображение, встраиваемое образу, две куски экрана. Куски строится, так как встраивание изображения Vit-G-14 обучается на квадратных входах. Слайды с точки зрения питания или документы A4, как правило, имеют побочное соотношение ближе к 2: 1, поэтому Chunking должен поддерживать общее качество запроса. Затем встраиваемые изображения (2 x 1024dim) проводятся в векторный хранилище известных кусков. Второй поток сначала извлекает текст с скриншота, используя двигатель Google Tesseract OCR. После этого текст встраивания (1024DIM) строится с использованием одной из лучших многоязычных моделей, E5-Large. На последнем этапе результаты объединяются вместе, используя систему общего идентификатора между векторными магазинами, и отправляют пользователю.

Дизайнерские решения

Это место, где я делюсь некоторыми из своих мыслей.

Зачем использовать скриншоты, а не документы в качестве входных данных?

Идея заключалась в том, чтобы обеспечить быстрый инструмент. Предположим, что у вас есть слайд презентации, и вы хотели бы узнать, создали ли вы что -то подобное ранее. Если вы загрузили весь документ, необходимо было бы необходимо поддерживать требование для дополнительного номера. Просто сделать скриншот быстрее (на всех ОС есть удобные ярлыки), и просто загрузка одной картинки прямо.

Почему поток?

Быстро составить небольшое приложение, и мне нравятся визуальные интерфейсы намного больше, чем инструменты на основе CLI.

Как куда выбрались модели?

В основном через списки лидеров объятия. Поскольку это небольшой проект, я также хотел использовать исключительно предварительно обученные модели.

Как получить свои собственные документы в векторные магазины?

Script pdf_to_db.py - это простая итерация по всем документам в pdfs/ которая использует другие классы для заполнения векторных магазинов.

Заключение

Это не активно разработанный проект и в основном использовался для выполнения проекта с использованными технологиями. Если у вас есть какие -либо вопросы, не стесняйтесь обращаться ко мне.