clifs

Pencarian forensik gambar-gambar-gambar kontras

Ringkasan

CLIFS adalah bukti konsep untuk pencarian teks gratis melalui video untuk bingkai video dengan konten yang cocok. Ini dilakukan dengan menggunakan model klip Openai, yang dilatih untuk mencocokkan gambar dengan keterangan yang sesuai dan sebaliknya. Pencarian dilakukan dengan pertama -tama mengekstraksi fitur dari bingkai video menggunakan clip image encoder dan kemudian mendapatkan fitur untuk kueri pencarian melalui clip text encoder. Fitur -fitur tersebut kemudian dicocokkan dengan kesamaan dan hasil teratas dikembalikan, jika di atas ambang batas yang ditetapkan.

Untuk mengizinkan penggunaan backend CLIF yang mudah, server web sederhana yang menjalankan Django digunakan untuk menyediakan antarmuka ke mesin pencari.

Contoh

Untuk memberikan gambaran tentang kemampuan model ini, beberapa contoh ditunjukkan di bawah ini, dengan kueri pencarian dalam huruf tebal dan hasilnya di bawah ini. Pertanyaan pencarian ini dilakukan terhadap video Sherbrooke 2 menit dari dataset UrbanTracker. Hanya hasil gambar atas untuk setiap kueri yang ditampilkan. Perhatikan bahwa model tersebut sebenarnya cukup mampu OCR.

Truk dengan teks "Odwalla"

Mobil BMW Putih

Truk dengan teks "jcn"

Seorang pengendara sepeda dengan kemeja biru

Mobil pintar biru

Pengaturan

1. Jalankan skrip setup.sh untuk mengatur folder dan secara opsional mengunduh file video untuk pengujian:

./setup.sh

2. Letakkan file video Anda sendiri yang ingin Anda indeks di direktori data/input

3. Bangun dan mulai mesin pencari dan wadah server web melalui komposisi Docker:

docker-compose build && docker-compose up

Secara opsional, file komposisi Docker dengan dukungan GPU dapat digunakan jika lingkungan host memiliki GPU NVIDIA dan disetel untuk dukungan GPU Docker:

docker-compose build && docker-compose -f docker-compose-gpu.yml up

4. Setelah fitur untuk file dalam direktori data/input telah dikodekan, seperti yang ditunjukkan pada log, navigasikan ke 127.0.0.1:8000 dan cari.