CLIP ImageSearch NCNNダウンロード - CLIP ImageSearch NCNNソースコードダウンロード

CLIP ImageSearch NCNN

その他のソースコード

1.0.0

ダウンロード

Clip-imagesearch-ncnn

アイデア：このプロジェクトは、Yongchengの携帯電話独自のフォトアルバム検索機能に非常に適していると思います。これは、機能を抽出するために背景のすべての写真を忍び込ませて、結果を最終的に使用すると数秒で作成できるようにします。また、各画像の一致する確率を提供します。これは、画像ストリームの結果を返す確率に応じて高から低に表示できます。

なぜそれをするのですか？（恥知らずにストリームGPT2-CHINESECHAT-NCNNをリードしています）

どのモデルを作るか：ClipはGPTと同じです。このプロジェクトを見たとき、これは携帯電話のアルバムに合うように生まれた機能であることを知っていました。

作業目的：NCNNを使用してクリップを展開して、X86とAndroidでデモを提供することです。

PS ：忙しい仕事、遅い更新、1つの星のみ

注：すべての人がダウンロードできるようにするために、すべてのモデルと実行ファイルがGithubからダウンロードできます

デモ

Android：直接実行できるAPK

使用法：

最初に「アルバムをスキャン」をクリックして、携帯電話で写真をスキャンします
各期間の写真の数に応じて、適切な機能抽出を選択します（時間は数に比例し、Kirin 970の写真は0.5秒、ゆっくりです。）
ボトムボックスで検索するコンテンツを入力して、必ず英語を使用してください！！！
最後に、「検索」をクリックすると、結果が得られます（結果はKirin 970で1.5秒でリリースされます）

X86：直接実行できるEXE

使用法：たとえば、ボタンの順序でクリックするだけです。

最初に「1.ギャラリーの選択」をクリックし、リポジトリのギャラリーフォルダーを選択します
次に、「2」をクリックして、ギャラリー機能を抽出して、選択したフォルダーのすべての写真の特性を抽出します。
必要な画像を説明するためにテキストボックスに文を入力する場合、英語を使用する必要があります。必要かどうかは関係ありません。
最後に、[4.search]をクリックすると、プログラムは画像ライブラリの入力テキストに最適な画像に自動的に戻ります。

それがどのように機能するか

ClipのEncode_imageを使用して画像の機能を抽出し、ライブラリの機能ベクトルを構築する
Clipのencode_textを使用して、テキストの機能を抽出し、テキスト機能ベクトルを作成します
2つの方向に一致させることができる2つの機能ベクトル間の類似性を見つける、テキストと一致させるか、テキストと一致させることができます
すべての写真の類似性を得ることができます。
少し変更した後、モバイルアルバムで写真を検索する機能にすることができます。
写真で写真を検索したり、キャラクターで写真を検索したり、写真でキャラクターを検索したり、キャラクターでキャラクターを検索したりすることをサポートします。。。プレイする方法はたくさんあります。これらの機能を使用して同様の問題を見つけるだけなので、詳細は説明しません
最も時間のかかることは、実際にギャラリーのすべての写真の機能ベクトルを構築することです。ここでは、「RN50」モデルを使用しています。