CLIP ImageSearch NCNN

CLIP-Imagesearch-NCNN

IDEA : Saya pikir proyek ini sangat cocok untuk fungsi pencarian album foto ponsel Yongcheng sendiri, menyelinap keluar setiap gambar di latar belakang untuk mengekstrak fitur, sehingga hasilnya dapat diproduksi dalam hitungan detik saat digunakan pada akhirnya. Ini juga memberikan probabilitas yang cocok dari setiap gambar, yang dapat ditampilkan dari tinggi ke rendah sesuai dengan probabilitas untuk mengembalikan hasil aliran gambar.

Mengapa melakukannya ? (Tanpa malu memimpin aliran GPT2 Chinesechat-NCNN)

Model apa yang harus dilakukan : Klip sama dengan GPT, dengan banyak gameplay. Ketika saya melihat proyek ini, saya tahu bahwa ini adalah fungsi yang dilahirkan untuk dimasukkan ke dalam album ponsel.

Tujuan Kerja : Gunakan NCNN untuk menggunakan klip untuk mengambil gambar dalam bahasa alami.

PS : pekerjaan sibuk, pembaruan lambat, hanya satu bintang

Catatan : Untuk memfasilitasi semua orang untuk mengunduh, semua model dan file eksekusi telah diunggah ke GitHub.

Demo

Android: APK yang dapat dijalankan secara langsung

penggunaan:

1. Klik "Pindai album" pertama dan pindai beberapa gambar di ponsel Anda
2. Menurut jumlah gambar dalam setiap periode waktu, pilih ekstraksi fitur yang sesuai (waktu sebanding dengan angka, gambar pada Kirin 970 adalah 0,5s, perlahan, dll.)
3. Masukkan konten yang ingin Anda cari di kotak bawah, pastikan untuk menggunakan bahasa Inggris! Lai Lai
4. Akhirnya, klik "Cari" dan Anda akan mendapatkan hasilnya (hasilnya akan dirilis dalam 1.5s di Kirin 970)

x86: exe yang dapat berjalan secara langsung

Penggunaan: Cukup klik pada urutan tombol, misalnya:

1. Klik pertama "1.Select Gallery" dan pilih folder galeri repo
2. Kemudian klik "2. Ekstrak fitur galeri" untuk mengekstrak karakteristik semua gambar di folder yang dipilih.
3. Jika Anda memasukkan kalimat di kotak teks untuk menggambarkan gambar yang Anda inginkan, Anda harus menggunakan bahasa Inggris, tidak masalah jika Anda menginginkannya.
4. Akhirnya, klik "4.search", dan program akan secara otomatis kembali ke gambar yang paling cocok dengan teks input di pustaka gambar.

Cara kerjanya

1. Gunakan clip's encode_image untuk mengekstrak fitur gambar dan membangun vektor fitur perpustakaan
2. Gunakan clip's encode_text untuk mengekstrak fitur teks dan membangun vektor fitur teks
3. Temukan kesamaan antara dua vektor fitur, yang dapat dicocokkan dalam dua arah, dapat dicocokkan dengan teks, atau dapat dicocokkan dengan teks
4. Anda bisa mendapatkan kesamaan dari semua gambar.
5. Setelah sedikit modifikasi, Anda dapat menjadikannya fungsi mencari gambar di album seluler Anda.
6. Mendukung pencarian gambar dengan gambar, mencari gambar dengan karakter, mencari karakter dengan gambar, dan bahkan mencari karakter dengan karakter. . . Ada banyak cara untuk bermain, cukup gunakan fitur -fitur itu untuk menemukan masalah serupa, jadi saya tidak akan membahas detailnya
7. Hal yang paling memakan waktu sebenarnya adalah membangun vektor fitur dari semua gambar di galeri.

Struktur repo

1. Android: Kode sumber program APK yang disediakan
2. x86: Kode sumber program EXE yang disediakan, berdasarkan QT
3. Galeri: Galeri Kecil untuk Pengujian
4. Sumber Daya: Folder Sumber Daya Readme

Konten kerja

• Penyortiran dan ekspor model pytorch
• x86 demo
  • Jika Anda ingin mengkompilasi, unduh file .bin di sini dan letakkan di folder Assert dari proyek x86
• Demo Android
  • Untuk mengkompilasi, unduh file .bin dari tautan X86 di atas dan letakkan di folder Assert dari proyek Android

merujuk ke

1. ncnn
2. KLIP
3. Penelusuran Bahasa Alam-Bahasa