Generative AI Based Spatio Temporal Fusion

Fusi spatio-temporal bertenaga Genai untuk resolusi super video

Berdasarkan Pytorch, instal di sini

Menjelajahi garis depan AI generatif untuk meningkatkan kualitas video melalui teknik fusi spatio-temporal canggih dengan peningkatan dan interpolasi bingkai, memanfaatkan auto-encoder, jaringan LSTM dan prinsip entropi maksimum.

Perkenalan

Proyek ini adalah pendekatan baru untuk meningkatkan resolusi video baik secara spasial maupun sementara menggunakan teknik AI generatif. Dengan memanfaatkan auto-encoder dan jaringan LSTM, proyek ini bertujuan untuk menginterpolasi gambar grayscale resolusi tinggi-temporal dan mewarnai mereka dengan belajar dari serangkaian gambar RGB yang sesuai, yang pada akhirnya mencapai resolusi super video kesetiaan tinggi.

Lihat rilis stabil terbaru di sini

Periksa demonstrasi video dari metodologi yang diusulkan di sini

Tujuan Penelitian

Tujuan utama proyek ini adalah:

• Untuk mempelajari dependensi temporal di antara bingkai gambar greyscale spasial-spasial-temporally-temporally untuk memprediksi dan menginterpolasi bingkai baru, karenanya, meningkatkan resolusi temporal.
• Untuk mempelajari ketergantungan spasial melalui sekuens spasial-temporally-spparse yang mencakup kedua greyscale dan bingkai gambar RGB yang sesuai untuk menghasilkan versi berwarna greyscale yang berwarna, dengan demikian, meningkatkan resolusi spasial.

Berikut ini representasi visual dari transformasi data:

• Selama pelatihan:
  • Input : [Grey-1] [Grey-2, RGB-2] [Grey-3] [Grey-4, RGB-4] ... [Grey-8, RGB-8] [Grey-9] [Grey-10, RGB-10]
  • Output yang ditargetkan : [RGB-1] [RGB-2] [RGB-3] ... [RGB-8] [RGB-9] [RGB-10]
• Selama inferensi:
  • Input : [Grey-1] [Grey-2] [Grey-3] [Grey-4] ... [Grey-8] [Grey-9] [Grey-10]
  • Output yang Diharapkan : [RGB-1] [RGB-1.5] [RGB-2] [RGB-2.5] ... [RGB-8.5] [RGB-9] [RGB-9.5] [RGB-10]

Tautan sumber daya

• Penjelasan Kode
• Pelacak masalah

Kontribusi Selamat Datang!

Ketertarikan Anda untuk berkontribusi pada proyek ini sangat dihormati. Bertujuan untuk keunggulan kolaboratif, wawasan Anda, peningkatan kode, dan ide -ide inovatif sangat dihargai. Pastikan untuk memeriksa pedoman yang berkontribusi untuk informasi lebih lanjut tentang bagaimana Anda dapat menjadi bagian integral dari proyek ini.

Ucapan Terima Kasih

Terima kasih yang tulus kepada semua kontributor dan pendukung yang sedang dalam perjalanan ini untuk memecahkan landasan baru dalam teknologi resolusi super video.