香港大学与腾讯公司的研究团队近日推出了一项革命性的多模态推荐系统——DiffMM，该系统通过创新的技术手段显着提升了短视频推荐的精确度。 DiffMM系统通过构建一个包含用户和视频信息的复杂图结构，并运用图扩散和对比学习技术，深入分析用户与视频之间的互动关系，从而实现更加个性化和精准的内容推荐。
DiffMM系统的核心技术框架由三大部分构成：多模态图扩散模型、多模态图聚合以及跨模态对比增强。多模态图扩散模型采用模态感知去噪扩散概率模型，将用户与物品的协同信号与多模态信息进行有效整合，解决了传统多模态推荐系统中存在的负面影响问题。此外，通过图概率扩散范式和模态感知的图扩散优化技术，DiffMM实现了对用户-物品图的模态感知生成和优化，进一步提升了系统的推荐质量。
在跨模态对比增强方面，DiffMM系统引入了模态感知的对比视图和对比增强方法，能够有效捕捉不同物品模态上用户交互模式的一致性，从而显着提高了推荐系统的整体性能。这一创新方法不仅增强了系统对用户偏好的理解，还提升了推荐结果的多样性和准确性。
研究团队在论文中详细阐述了DiffMM系统的设计原理和实验结果，相关论文已发布于arXiv平台，论文链接为：https://arxiv.org/abs/2406.1178。该研究不仅为多模态推荐系统领域提供了新的技术范式，也为未来短视频平台的内容推荐提供了重要的理论支持和实践指导。
关键亮点：
⭐ 香港大学与腾讯合作提出的DiffMM新范式，显着提升了多模态推荐系统的性能。
⭐ DiffMM系统通过图扩散和对比学习技术，深入理解用户与视频之间的复杂关系。
⭐ 跨模态对比增强方法的引入，大幅提高了推荐系统的精准度和整体性能。