3月11日，通义实验室团队宣布开源R1-Omni模型，这一举措为全模态模型的发展带来了新的突破。R1-Omni模型结合了强化学习与可验证奖励（RLVR）方法，专注于提升多模态情感识别任务中的推理能力和泛化性能。这一创新不仅为人工智能领域注入了新的活力，也为未来的多模态研究提供了重要的技术支撑。
R1-Omni的训练过程分为两个关键阶段。在冷启动阶段，团队使用了包含580条视频数据的组合数据集进行微调，这些数据主要来自Explainable Multimodal Emotion Reasoning（EMER）数据集和HumanOmni数据集。这一阶段的目的是为模型奠定基础推理能力，确保其在进入RLVR阶段前具备一定的多模态情感识别能力，从而保障后续训练的平稳性、效率与稳定性。通过这一阶段的训练，模型能够初步理解并处理多模态数据，为后续的优化打下坚实的基础。
随后，在RLVR阶段，模型通过强化学习与可验证奖励机制进一步优化。这一阶段的关键在于策略模型和奖励函数的设计。策略模型负责处理视频帧和音频流组成的多模态输入数据，生成带有详细推理过程的候选响应，展示模型如何整合视觉和听觉信息以得出预测。奖励函数则受DeepSeek R1启发，分为精确率奖励和格式奖励两部分，共同形成最终奖励。这种设计不仅鼓励模型生成正确预测，还保证了输出的结构化和符合预设格式，从而提升了模型的整体性能。
实验结果显示，R1-Omni在同分布测试集DFEW和MAFW上，相较于原始基线模型平均提升超过35%，相较于有监督微调（SFT）模型在未加权平均召回率(UAR)上提升高达10%以上。在不同分布测试集RAVDESS上，其加权平均召回率(WAR)和UAR均提升超过13%，展现出卓越的泛化能力。此外，R1-Omni还具有显著的透明性优势，通过RLVR方法，音频和视频信息在模型中的作用变得更加清晰可见，能够明确展示各模态信息对特定情绪判断的关键作用，为理解模型决策过程和未来研究提供了重要参考。
论文:
https://arxiv.org/abs/2503.05379
Github:
https://github.com/HumanMLLM/R1-Omni
模型:
https://www.modelscope.cn/models/iic/R1-Omni-0.5B