Исследовательская команда из Университета Гонконга и Тентента недавно запустила революционную мультимодальную систему рекомендаций - DIFFMM, которая значительно повышает точность коротких видео рекомендаций с помощью инновационных технических средств. Система DIFFMM создает сложную структуру графика, содержащую пользовательскую и видео информацию, и использует технологию диффузии графика и сравнения обучения для глубокого анализа интерактивной взаимосвязи между пользователями и видео, тем самым достигая более индивидуальных и точных рекомендаций по содержанию.
Основная техническая структура системы DIFFMM состоит из трех частей: модель диффузии мультимодального графика, мультимодальная графическая агрегация и поперечное модальное контрастное усиление. Модель диффузии с мультимодальным графом принимает модальную модель диффузионной диффузии модальной дженоневой диффузии, эффективно интегрирует скоординированные сигналы между пользователями и элементами с мультимодальной информацией и решает негативные проблемы воздействия в традиционных мультимодальных системах рекомендаций. Кроме того, благодаря технологии оптимизации диффузии графика. Парадигма диффузии вероятности графика и модальное восприятие, DIFFMM реализует модальное восприятие генерации и оптимизацию карт пользователя, еще больше улучшая качество рекомендации системы.
С точки зрения перекрестного улучшения контрастности, система DIFFMM вводит методы модального контрастного представления и улучшения контрастности, которые могут эффективно отражать согласованность режимов взаимодействия пользователей на разных элементах, тем самым значительно улучшая общую производительность системы рекомендаций. Этот инновационный подход не только улучшает понимание системы пользовательских предпочтений, но и улучшает разнообразие и точность рекомендуемых результатов.
Исследовательская группа подробно рассказала о принципах проектирования и экспериментальных результатах системы DIFFMM в статье. Это исследование не только предоставляет новую техническую парадигму для области мультимодальных систем рекомендаций, но также обеспечивает важную теоретическую поддержку и практическое руководство для будущих рекомендаций по содержанию коротких видео платформ.
Ключевые основные моменты:
⭐ Новая парадигма DiffMM, предложенная Университетом Гонконга и Tencent, значительно улучшила производительность мультимодальных систем рекомендаций.
⭐ Система DIFFMM глубоко понимает сложную связь между пользователями и видео с помощью диффузии графика и методов сравнения обучения.
⭐ Внедрение методов повышения кросс-модального контраста значительно улучшило точность и общую производительность системы рекомендаций.