CLIP ImageSearch NCNN

CLIP-ImageSearch-NCNN

想法: 這個項目我覺得非常適合永城手機自帶相冊的圖片搜索功能，在後台偷跑每一張圖進行抽特徵，這樣最後用的時候就能秒出結果。而且還提供每個圖片的匹配概率，可以按照概率從高到低顯示做成圖片流的結果返回?。

為什麼要做：其實想做CLIP是因為我前面還想做GPT來的，當時想著既然要做GPT，為什麼不把CLIP也做了呢？ (不知廉恥的引一下流GPT2-ChineseChat-NCNN)

做什麼模型：CLIP跟GPT一樣，玩法超級多，我是在awesome-CLIP裡面選的，我一眼就看中natural-language-image-search這個項目了，給出一句話來描述想要的圖片，就能從圖庫中搜出來符合要求的。當時看到這個項目，我就知道這是個天生就適合放在手機相冊裡面的功能，既然這樣為何不搞呢？

工作目標：使用ncnn部署CLIP實現使用自然語言檢索圖像，目標是給出x86和android端的demo

PS ：工作繁忙，更新緩慢，只求一個star

Note : 為了方便大家下載，所有的模型和執行文件都上傳了一份到Github，大家可以從Github上下載：https://github.com/EdVince/model_zoo/releases/tag/CLIP-ImageSearch-NCNN

Demo

android: 可直接運行的apk

用法：

1. 先點“掃描相冊”，掃描一遍手機有的圖片
2. 按照各個時間段的圖片數量，選擇一個合適進行特徵抽取(耗時與數量成正比，麒麟970上0.5s一張圖，慢慢等)
3. 在最底下的框輸入你要想搜內容，一定要用英文！ ！ ！
4. 最後點擊“搜”就有結果了(麒麟970上1.5s就能出來結果)

x86: 可直接運行的exe

用法：按照按鈕的順序點擊就好了，舉例：

1. 先點擊“1.選擇圖庫”，選擇該repo的gallery文件夾
2. 然後點擊“2.抽取圖庫特徵”，抽取所選文件夾的所有圖片的特徵，耗時與圖片數量有關
3. 在文本框內輸入一句描述要想的圖片的話，一定要用英文，大小寫沒關係
4. 最後點擊“4.搜”，程序會自動返回圖庫中最匹配所輸入文字的圖片

工作原理

1. 使用CLIP的encode_image提取圖片的特徵，構建一個圖庫的特徵向量
2. 使用CLIP的encode_text提取文字的特徵，構建文本特徵向量
3. 對兩個特徵向量求相似度，可以雙向匹配，可以用文本匹配圖片，也可以用圖片匹配文本
4. 可以得到所有圖片的相似度，我為了偷懶只顯示了匹配概率最高的那一個
5. 稍微修改一下就可以做成手機相冊自帶搜圖的那種返回一堆相關圖片的功能了
6. 支持以圖搜圖、以字搜圖、以圖搜字、甚至是以字搜字。 。 。玩法很多，就是用那些特徵求相似的問題，不贅述了
7. 最耗時間的其實是構建圖庫所有圖片的特徵向量，這裡我用的是“RN50”這個模型，對圖片使用resnet50進行特徵抽取

Repo結構

1. android: 所提供的apk程序的源代碼
2. x86: 所提供的exe程序的源代碼，基於qt
3. gallery: 一個小的圖庫，供測試用
4. resources: README的資源文件夾

工作內容

• pytorch模型梳理與導出
• x86 demo
  • 要編譯的話，到這裡下載.bin文件並放置到x86項目的assert文件夾下
• android demo
  • 要編譯的話，到上面x86的鏈接下載.bin文件放到android項目的assert文件夾下

參考

1. ncnn
2. CLIP
3. natural-language-image-search