Generative AI Based Spatio Temporal Fusion

Genai Spatio-Temperal Fusion для видео супер-разрешения

На основе Pytorch, установите здесь

Изучение переднего фонда генеративного ИИ для повышения качества видео посредством расширенных методов пространственно-временного слияния путем масштабирования и интерполяции кадров, используя автообороды, сети LSTM и принцип максимального энтропии.

Введение

Этот проект является новым подходом к улучшению видео разрешения как пространственно, так и во времени с использованием генеративных методов ИИ. Используя автообороды и сети LSTM, проект направлен на интерполирование изображений серого роста высокого разрешения и раскрашивать их, изучая на соответствующем наборе изображений RGB, в конечном итоге достигнув высокой точки зрения видеорелюции.

Оформить последний стабильный релиз здесь

Осмотрите видео демонстрацию предлагаемой методологии здесь

Цель исследования

Основными целями проекта являются:

• Чтобы изучить временные зависимости среди пространственно-сбаловок, временно-плотных кадров в серотеле для прогнозирования и интерполяции новых кадров, следовательно, увеличивая временное разрешение.
• Чтобы изучить пространственные зависимости через пространственно-плотные последовательности-времен-sparse, которые включают в себя как серого, так и соответствующие кадры изображений RGB для генерации цветных версий кадров серого, таким образом, усиления пространственного разрешения.

Вот визуальное представление о преобразовании данных:

• Во время обучения:
  • Вклад : [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • Целевой вывод : [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• Во время вывода:
  • Вклад : [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • Ожидаемый выход : [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

Ресурсные ссылки

• Код объяснение
• Выпуск трекер

Взносы приветствуются!

Ваш интерес к участию в проекте очень уважается. Цель совместного превосходства, ваши понимания, улучшения кода и инновационные идеи высоко ценится. Обязательно проверяйте рекомендации для получения дополнительной информации о том, как вы можете стать неотъемлемой частью этого проекта.

Благодарности

Сервище спасибо всем участникам и сторонникам, которые находятся в этом путешествии, чтобы открыть новую основу в технологии Video Super-Resolution.