Surveillance_Video_Summarizer

？監視視頻摘要：AI驅動的視頻分析和摘要

檢查了13.09.2024✅（該項目在Lightning AI平台上進行了測試，在L40 GPU上運行）

監視視頻摘要是一個AI驅動的系統，可處理監視視頻，提取關鍵幀並生成詳細的註釋。它由專門在SPHAR數據集中訓練的微調佛羅倫薩-2視覺模型（VLM）提供支持，它突出了視頻片段中的著名事件，動作和對象，並將其記錄為易於審查和進一步分析。

可以在以下方式找到微調模型：Kndrvitja/Florence-Sphar-Finetune-2。

請參閱下面的工具！

？演示視頻

特徵

• AI驅動的視頻摘要
  自動從監視視頻中提取幀並生成捕獲動作，交互，對象和異常事件的註釋。註釋存儲在SQLite數據庫中以易於檢索。

• 實時幀處理
  通過利用異步線程，系統可以有效地處理視頻幀，從而可以實時分析，同時最大程度地減少性能瓶頸。它每秒記錄每秒，以確保輕鬆進行調試和驗證。

• SPHAR數據集的微調佛羅倫薩-2 VLM
  摘要過程由經過微調的Florence-2 VLM提供動力，該VLM專門在SPHAR數據集上訓練。該模型被優化以檢測和描述具有更高精度的監視特異性事件。

• 級供電的交互式界面
  通過基於Gradio的Web界面與監視日誌進行交互。您可以指定時間範圍，並且系統將檢索，總結和分析帶註釋的日誌，並使用OpenAI API在選定的時期內對視頻錄像提供詳細的見解。該功能可以擴展到利用高級模型，例如雙子座，從而更有效地處理更長的上下文視頻，並在擴展的時間範圍內提供更全面的視頻摘要。

---

它如何工作

1. 框架提取：
   使用OPENCV從監視視頻文件中定期提取幀。

2. AI驅動註釋：
   每個幀通過微調的Florence-2視覺語言模型分析，從而產生有關場景的有見地的註釋。

3. 數據存儲：
   註釋及其相關的框架數據存儲在SQLite數據庫中，準備將來分析。

4. Gradio接口：該系統允許用戶通過提供特定的時間範圍和量身定制的提示來毫不費力地查詢監視日誌。它檢索，總結和分析相關的錄像帶，提供簡潔的見解

---

安裝

1. 克隆存儲庫：

   git clone https://github.com/Ravi-Teja-konda/Surveillance_Video_Summarizer.git

2. 導航到項目目錄：

 cd Surveillance_Video_Summarizer

3. 安裝所需的Python庫：

pip install -r requirements.txt

配置

模型和處理器

• 該系統利用SPHAR數據集微調的Florence-2視覺模型。可以在Kndrvitja/Florence-Sphar-Finetune-2上找到微調模型。

• 確保根據需要將OpenAI API密鑰存儲在.ENV文件中。

數據庫路徑

• 存儲幀數據的默認SQLITE數據庫位於/TeamSpace/studios/florence_2_video_analytics/florence_2_video_analytics.db。您可以修改此路徑。

用法

首先，運行框架提取：

python surveillance_video_summarizer.py

接下來，與Gradio接口進行對數分析：

python surveillance_log_analyzer_with_gradio.py

從這裡，您可以使用Gradio界面來查詢特定的視頻素材，並根據您的輸入檢索帶註釋的摘要。您可以查詢系統中的特定操作，著名事件或一般活動摘要。提供時間範圍和查詢提示，系統將返回相關日誌

未來的增強

高級事件檢測

我們計劃通過培訓更多數據來提高模型檢測更複雜事件的能力，例如違反交通違規，可疑行為和其他細微的監視情況

實時流

將來，將計劃在捕獲視頻時支持實時視頻流以立即提取和分析。

---

貢獻

歡迎捐款！隨時提交拉動請求。

---

❤️支持該項目

如果您發現此項目有用，請考慮將其主演在Github上，以幫助他人發現它！

---

參考

受佛羅倫薩-2等視覺模型的進步啟發。

• https://arxiv.org/pdf/2311.06242
• https://huggingface.co/papers/2311.06242
• https://github.com/retkowsky/florence-2

執照

該項目是根據Apache許可證2.0許可的。