image_search

Aplikasi Pencarian Gambar

Intro Proyek

Munculnya Internet merevolusi cara kami mengakses informasi melalui mesin pencari yang kuat seperti Google, Bing, dan Yandex. Dengan hanya beberapa kata kunci, kami dapat dengan cepat menemukan halaman web yang berkaitan dengan pertanyaan kami. Sebagai teknologi, khususnya AI, kemajuan, banyak mesin pencari sekarang memfasilitasi pencarian gambar online.

Berbagai teknik untuk pencarian gambar telah muncul, termasuk:

• Pencarian gambar dengan metadata: Di sini, pencarian tidak didasarkan pada gambar itu sendiri melainkan pada metadata mengikuti gambar seperti (kata kunci, teks, nama file, tanggal dll.)
  
• Pencarian Gambar Berdasarkan Konten Gambar: Pendekatan ini menggunakan, teknik penglihatan komputer yang canggih untuk mengekstrak bentuk, warna, fitur apa pun yang relevan dari suatu gambar. Ini adalah teknik yang akan kami gunakan.

Dalam proyek ini, kami akan menggunakan jaringan saraf konvolusional pra-terlatih (CNN) untuk mengekstrak fitur berharga dari gambar. Metodologi ini, komponen kunci dari pencarian gambar berbasis konten, memberikan manfaat berikut:

• CNN kuat: CNN telah terbukti sangat kuat untuk mengekstrak fitur -fitur utama dari suatu gambar.
• CNN dapat mengurangi dimensi: Output CNN biasanya mewakili representasi gambar yang relevan dan relevan yang sering disebut peta fitur atau embedding atau vektor , karena tidak setiap piksel memiliki informasi yang signifikan. Representasi kental ini sering memiliki dimensi yang lebih kecil.

Singkatnya, dalam penelitian ini kami ingin menjawab pertanyaan berikut: Apakah dua gambar serupa terkait embedding masih serupa?

Teknologi / kerangka kerja yang digunakan

Deskripsi proyek

Untuk proyek ini, kami telah menggunakan CIFAR-10. Ini adalah dataset yang tersedia secara bebas yang terdiri dari 60.000 gambar warna, masing -masing mengukur 32x32 piksel . Gambar -gambar ini milik 10 kategori berbeda: pesawat terbang, mobil, burung, kucing, rusa, anjing, katak, kuda, kapal, dan truk. Untuk mendapatkan embedding yang sesuai, kami menerapkan model CNN yang sudah terlatih, khususnya VGG-16 , untuk mengekstraksi fitur-fitur penting. Vektor yang dihasilkan adalah 512 dimensi . Di dalam Pinecone, kami membuat indeks bernama "gambar" dengan dimensi 512, di mana semua vektor ini akan disimpan.

Gagasan di balik proyek ini adalah untuk menemukan apakah gambar burung yang serupa misalnya memiliki embedding yang serupa. Untuk melakukannya, kami telah mengunggah 50.000 dari total 60.000 gambar yang terkait dengan indeks Pinecone. Partisi ini dibuat untuk memastikan bahwa kami memiliki gambar yang sepenuhnya baru dan berbeda dibandingkan dengan yang sudah disimpan sebagai vektor di pinus. Perhatikan juga bahwa parisi ini sudah dilakukan oleh dataset CIFAR-10 ke dalam kereta dan uji batch yang mewakili versi serial dari array gambar asli.

Prinsip kerja

Picutre di bawah ini menggambarkan seluruh proses menyimpan embeddings ke indeks pinus. Dari langkah pertama membaca gambar, menerapkan jaringan saraf VGG16 pra-terlatih untuk menghasilkan embbed 512 dimensi yang kemudian ditingkatkan (yaitu disimpan) dalam indeks pinecone.

Waktu berjalan

Dalam proyek ini, kami menangani 50 ribu gambar, yang menimbulkan beberapa tantangan dalam hal kompusi terutama ketika membaca gambar, Unpickle (kami telah menurunkan versi serial dataset CIFAR-10) mereka dan mengekstraksi fitur melalui CNN. Kami mencoba memanfaatkan kekuatan komputasi parrallel saat menjalankan kode kami sehingga semuanya berjalan secepat mungkin pada beberapa core CPU melalui multithreading.
Catatan: Jika memungkinkan, jalankan proyek ini pada lingkungan bertenaga GPU untuk perhitungan yang lebih cepat.

Memulai

1. Buat akun Pinecone secara gratis di sini.

2. Dapatkan kunci API dan lingkungan yang terkait dengan akun Pinecone Anda

3. Klone repo ini (untuk bantuan lihat tutorial ini).

4. Buat lingkungan virtual di folder proyek (untuk bantuan lihat tutorial ini).

5. Jalankan perintah berikut untuk menginstal paket yang diperlukan.

• Untuk pengguna Linux:

 pip3 install -r requirements.txt

• Untuk pengguna Windows:

 pip install -r requirements.txt

6. Luncurkan skrip penyisipan gambar menggunakan yang berikut.

 python insert_data.py -key <API_KEY>  -env <ENV>  -metric <METRIC> 

Ganti <vidt> dan <Api_key> dengan nilai yang Anda dapatkan dari akun Pinecone Anda. Tunggu skrip dilakukan. 7. Luncurkan aplikasi menggunakan yang berikut.

 streamlit run app.py -- -key <API_KEY> -env <ENV>

Setelah semuanya selesai, Anda harus melihat sesuatu seperti ini: