trail camera search

Изображение камеры и видео с видео с Meta AI ImageBind

Этот пример демонстрирует, как построить многомодальный поиск (изображение и видео), используя Meta AI-Bind и базу данных Weaviate Vector и был основан на примере из Weaviate здесь.

Запрос с использованием одной модальности (например, текст) будет включать результаты во всех доступных методах (например, изображения и видео), поскольку все объекты будут кодированы в одно векторное пространство.

Вот ссылка на демонстрационное видео, которое я записал, если вы не хотите играть с кодом.

Печатная установка

Модель ImageBind доступна только с локальными развертываниями Weaviate с Docker или Kubernetes.

ImageBind не поддерживается с помощью Weaviate Cloud Services (WCS).

Шаги по развертыванию локально с помощью ImageBind

1. Установите Docker.

   Если вы новичок в Docker Compose , вот инструкции о том, как его установить.

2. Запустите Weaviate+Bind с Docker Compose

   В терминале перейдите к основному директору этого проекта и найдите файл docker-compose.yml и вызов:

    docker compose up
   

   Примечание № 1 - В первый раз, когда вы запустите команду, Docker загрузит изображение ~ 6 ГБ.

   Примечание № 2 - Запуск этого изображения Docker требует 12 ГБ оперативной памяти. Если вы находитесь в Windows, вам нужно отрегулировать свой .wslconfig, чтобы включить следующее:

    [wsl2]
   memory=12GB