Surveillance_Video_Summarizer

? Суммизатор видеоролика: видео-анализ и суммирование видео с AI с AI

Проверено 13.09.2024 ✅ (этот проект разработан на платформе Lightning AI, работая на графическом процессоре L40)

Суммизатор видеоролика -это система, управляемая AI, которая обрабатывает видеоролики, извлекает ключевые кадры и генерирует подробные аннотации. Основанная на тонкой настраиваемой модели Флоренции-2-языка (VLM), специально обученной набору данных SPHAR, она подчеркивает заметные события, действия и объекты в видеозаписи и регистрирует их для легкого обзора и дальнейшего анализа.

Тонко настроенную модель можно найти по адресу: kndrvitja/florence-sphar-finetune-2.

Смотрите инструмент в действии ниже!

? Демо -видео

Функции

• Суммизация видео с AI
  Автоматически извлекать кадры из видео наблюдения и генерировать аннотации, которые отражают действия, взаимодействия, объекты и необычные события. Аннотации хранятся в базе данных SQLite для легкого поиска.

• Обработка кадров в реальном времени
  Используя асинхронные потоки, система эффективно обрабатывает видео кадры, позволяя анализировать в реальном времени при минимизации узких мест производительности. Он регистрируется каждую секунду, обеспечивая легкую отладку и проверку.

• Тонко настроенный Florence-2 VLM для набора данных SPHAR
  Процесс суммирования питается от тонкой настройки Florence-2 VLM, специально обученного набору данных SPHAR. Эта модель оптимизирована для обнаружения и описания специфических для наблюдения событий с более высокой точностью.

• Интерактивный интерфейс с двигателем Gradio
  Взаимодействуйте с журналами наблюдения через веб-интерфейс на основе Gradio. Вы можете указать диапазоны времени, и система будет извлекать, суммировать и анализировать аннотированные журналы, предоставляя подробную информацию о видеозаписи в течение выбранного периода с использованием API OpenAI. Эта функциональность может быть расширена для использования передовых моделей, таких как Gemini, что позволяет более эффективно обрабатывать более длинные контекстные видеоролики и предоставить более полное обобщение видео в течение расширенных сроков.

---

Как это работает

1. Извлечение кадра :
   Кадры извлекаются через регулярные промежутки времени из видеофайлов наблюдения с использованием OpenCV.

2. Аннотация с Двигательными Эй :
   Каждый кадр анализируется тонкой настроенной моделью Флоренции-2, создавая проницательные аннотации о сцене.

3. Хранение данных :
   Аннотации и связанные с ними данные кадров хранятся в базе данных SQLite, готовых к будущему анализу.

4. Интерфейс Gradio : система позволяет пользователям без особых усилий журналы наблюдения за вопросами, предоставляя определенный временной диапазон и адаптированные подсказки. Он извлекает, суммирует и анализирует соответствующие видеозаписи, предлагая краткие идеи

---

Установка

1. Клонировать репозиторий :

   git clone https://github.com/Ravi-Teja-konda/Surveillance_Video_Summarizer.git

2. Перейдите к каталогу проекта :

 cd Surveillance_Video_Summarizer

3. Установите необходимые библиотеки Python :

pip install -r requirements.txt

Конфигурация

Модель и процессор

• Система использует модель Florence-2-Language Language, настраиваемую для набора данных SPHAR. Тонко настроенную модель можно найти в Kndrvitja/Florence-Sphar-Finetune-2.

• Убедитесь, что у вас есть ваш ключ API Openai, хранящийся в файле .env по мере необходимости.

Путь базы данных

• База данных SQLite по умолчанию для хранения данных кадры расположена по адресу /teamspace/studios/florence_2_video_analytics/florence_2_video_analytics.db. Вы можете изменить этот путь.

Использование

Во -первых, запустите извлечение кадра:

python surveillance_video_summarizer.py

Далее взаимодействуйте с интерфейсом Gradio для анализа журналов:

python surveillance_log_analyzer_with_gradio.py

Отсюда вы можете использовать интерфейс Gradio для запроса конкретных периодов видеозаписей и получить аннотированные резюме на основе вашего ввода. Вы можете запросить систему для конкретных действий, заметных событий или общих резюме деятельности. Предоставьте временной диапазон и вашу подсказку запроса, и система вернет соответствующие журналы

Будущие улучшения

Усовершенствованное обнаружение событий

Мы планируем улучшить способность модели обнаружить более сложные события, такие как нарушения трафика, подозрительное поведение и другие сценарии слежения.

Потоковая трансляция в реальном времени

В будущем будет планировать поддержку видеопотоков в реальном времени для немедленного извлечения и анализа кадров, когда видео захватывается.

---

Внося

Взносы приветствуются! Не стесняйтесь отправлять запрос на привлечение.

---

❤ Поддерживать проект

Если вы найдете этот проект полезным, рассмотрите возможность с участием его в главной роли на GitHub, чтобы помочь другим узнать его!

---

Ссылки

Вдохновленный достижениями в моделях языка зрения, таких как Флоренция-2.

• https://arxiv.org/pdf/2311.06242
• https://huggingface.co/papers/2311.06242
• https://github.com/retkowsky/florence-2

Лицензия

Этот проект лицензирован по лицензии Apache 2.0.