Generative AI Based Spatio Temporal Fusion

비디오 슈퍼 해상도를위한 Genai 기업 시공간 융합

Pytorch를 기반으로 여기에 설치하십시오

고급 시공간 퓨전 기술을 통해 비디오 품질을 향상시키기 위해 생성 AI의 최전선을 탐색하여 자동 인코더, LSTM 네트워크 및 최대 엔트로피 원리를 활용하여 고급 시공간 퓨전 기술을 통해 비디오 품질을 향상시킵니다.

소개

이 프로젝트는 생성 AI 기술을 사용하여 비디오 해상도를 공간적으로나 시간적으로 향상시키는 새로운 접근법입니다. 이 프로젝트는 자동 인코더 및 LSTM 네트워크를 활용함으로써 해당 RGB 이미지 세트로부터 학습하여 고소화 된 비디오 수퍼 레벨을 달성함으로써 고해상도 그레이 스케일 이미지를 보간하고 색상화하는 것을 목표로합니다.

최신 안정적인 릴리스를 확인하십시오

제안 된 방법론의 비디오 데모를 확인하십시오

연구 목표

프로젝트의 주요 목표는 다음과 같습니다.

• 새로운 프레임을 예측하고 보간하여 시간적 해상도를 증가시키기 위해 공간적으로 비소가 강한 그리스 스케일 이미지 프레임 사이의 시간적 종속성을 학습합니다.
• Greyscale 및 해당 RGB 이미지 프레임을 모두 포함하는 공간 밀도가 높은 분열 스피트 시퀀스를 통해 공간 의존성을 학습하여 greyscale 프레임의 색상화 된 버전을 생성하여 공간 해상도를 향상시킵니다.

데이터 변환의 시각적 표현은 다음과 같습니다.

• 훈련 중 :
  • 입력 : [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • 표적 출력 : [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• 추론 중 :
  • 입력 : [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • 예상 출력 : [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

리소스 링크

• 코드 설명
• 문제 추적기

기부금을 환영합니다!

프로젝트에 기여하는 것에 대한 관심은 매우 존경받습니다. 협업 우수성을 목표로하는 통찰력, 코드 개선 및 혁신적인 아이디어는 높이 평가됩니다. 이 프로젝트의 필수 요소가 될 수있는 방법에 대한 자세한 내용은 기고 가이드 라인을 확인하십시오.

감사의 말

비디오 슈퍼 해상도 기술의 새로운 지평을 열기 위해이 여정에있는 모든 기고자와 지지자들에게 진심으로 감사드립니다.