Surveillance_Video_Summarizer
1.0.0
检查了13.09.2024✅（该项目在Lightning AI平台上进行了测试，在L40 GPU上运行）
监视视频摘要是一个AI驱动的系统，可处理监视视频，提取关键帧并生成详细的注释。它由专门在SPHAR数据集中训练的微调佛罗伦萨-2视觉模型（VLM）提供支持，它突出了视频片段中的著名事件，动作和对象，并将其记录为易于审查和进一步分析。
可以在以下方式找到微调模型：Kndrvitja/Florence-Sphar-Finetune-2。
请参阅下面的工具！
AI驱动的视频摘要
自动从监视视频中提取帧并生成捕获动作，交互，对象和异常事件的注释。注释存储在SQLite数据库中以易于检索。
实时帧处理
通过利用异步线程，系统可以有效地处理视频帧，从而可以实时分析，同时最大程度地减少性能瓶颈。它每秒记录每秒，以确保轻松进行调试和验证。
SPHAR数据集的微调佛罗伦萨-2 VLM
摘要过程由经过微调的Florence-2 VLM提供动力，该VLM专门在SPHAR数据集上训练。该模型被优化以检测和描述具有更高精度的监视特异性事件。
级供电的交互式界面
通过基于Gradio的Web界面与监视日志进行交互。您可以指定时间范围，并且系统将检索，总结和分析带注释的日志，并使用OpenAI API在选定的时期内对视频录像提供详细的见解。该功能可以扩展到利用高级模型，例如双子座，从而更有效地处理更长的上下文视频，并在扩展的时间范围内提供更全面的视频摘要。
框架提取：
使用OPENCV从监视视频文件中定期提取帧。
AI驱动注释：
每个帧通过微调的Florence-2视觉语言模型分析，从而产生有关场景的有见地的注释。
数据存储：
注释及其相关的框架数据存储在SQLite数据库中，准备将来分析。
Gradio接口：该系统允许用户通过提供特定的时间范围和量身定制的提示来毫不费力地查询监视日志。它检索，总结和分析相关的录像带，提供简洁的见解
git clone https://github.com/Ravi-Teja-konda/Surveillance_Video_Summarizer.git cd Surveillance_Video_Summarizerpip install -r requirements.txt模型和处理器
该系统利用SPHAR数据集微调的Florence-2视觉模型。可以在Kndrvitja/Florence-Sphar-Finetune-2上找到微调模型。
确保根据需要将OpenAI API密钥存储在.ENV文件中。
数据库路径
首先，运行框架提取：
python surveillance_video_summarizer.py接下来，与Gradio接口进行对数分析：
python surveillance_log_analyzer_with_gradio.py从这里，您可以使用Gradio界面来查询特定的视频素材，并根据您的输入检索带注释的摘要。您可以查询系统中的特定操作，著名事件或一般活动摘要。提供时间范围和查询提示，系统将返回相关日志
我们计划通过培训更多数据来提高模型检测更复杂事件的能力，例如违反交通违规，可疑行为和其他细微的监视情况
将来，将计划在捕获视频时支持实时视频流以立即提取和分析。
欢迎捐款！随时提交拉动请求。
如果您发现此项目有用，请考虑将其主演在Github上，以帮助他人发现它！
受佛罗伦萨-2等视觉模型的进步启发。
该项目是根据Apache许可证2.0许可的。
