本文介绍了ShareGPT4Video系列，一个旨在提升大规模视频语言模型(LVLMs)视频理解能力和文本到视频模型(T2VMs)视频生成能力的项目。该系列包含三个主要部分：由GPT4V注释的40,000个视频的密集字幕数据集ShareGPT4Video；一个高效的视频字幕生成模型ShareCaptioner-Video，已用于注释4,800,000个视频；以及一个在三个视频基准测试中取得SOTA性能的LVLM模型ShareGPT4Video-8B。研究团队克服了现有方法在视频字幕生成中存在的细节缺失和时间混乱等问题，通过精心设计的差分视频字幕策略，实现了高质量、可扩展的视频字幕生成。
1）ShareGPT4Video，由 GPT4V 注释的40，000个不同长度和来源视频的密集字幕，通过精心设计的数据过滤和注释策略开发而成。
2）ShareCaptioner-Video，一种高效且功能强大的视频字幕生成模型，适用于任意视频，由它注释了4，800，000个高质量美学视频。
3）ShareGPT4Video-8B，一个简单但卓越的 LVLM，在三个先进的视频基准测试中取得了 SOTA 性能。
除了不具扩展性且成本高昂的人类标注者外，研究发现使用 GPT4V 以简单的多帧或帧串联输入策略为视频生成字幕导致结果缺乏细节，并且有时会出现时间上的混乱。研究团队认为设计高质量视频字幕策略的挑战在于三个方面:
1）理解帧间精确的时间变化。
2）描述帧内详细的内容。
3）对于任意长度的视频，帧数量的可扩展性。
为此，研究人员精心设计了差分视频字幕策略，对于生成任意分辨率、宽高比和长度的视频字幕是稳定、可扩展且高效的。基于此构建了 ShareGPT4Video，包含40，000个高质量视频，涵盖了广泛的类别，生成的字幕包含丰富的世界知识、物体属性、摄像机运动以及关键的事件详细和精确的时间描述。
基于 ShareGPT4Video，又进一步开发了 ShareCaptioner-Video，一个优秀的字幕生成模型，能够高效生成任意视频的高质量字幕。用它注释了4，800，000个美学吸引力强的视频，并在一个10秒的文本到视频生成任务上验证了它们的有效性。ShareCaptioner-Video 是一个四合一的卓越视频字幕模型，具有以下功能:快速字幕、滑动字幕、剪辑摘要和快速重新字幕。
在视频理解方面，研究团队还验证了 ShareGPT4Video 对几个当前 LVLM 体系结构的有效性，并呈现了出色的新 LVLM ShareGPT4Video-8B。
产品入口：https://top.aibase.com/tool/sharegpt4video
ShareGPT4Video系列为视频理解和生成领域带来了显著的进展，其高质量的数据集和模型有望推动相关技术的进一步发展。 访问链接了解更多细节。