CLIP ImageSearch NCNN

clip-imagesearch-ncnn

Idea : أعتقد أن هذا المشروع مناسب جدًا لوظيفة البحث عن ألبوم الصور الخاصة بـ Yongcheng للهاتف المحمول ، حيث يتسلل كل صورة في الخلفية لاستخراج الميزات ، بحيث يمكن إنتاج النتائج في ثوانٍ عند استخدامها في النهاية. كما يوفر احتمال المطابقة لكل صورة ، والتي يمكن عرضها من أعلى إلى انخفاض وفقًا لاحتمال إعادة نتيجة دفق الصورة.

لماذا تفعل ذلك في الواقع ، أردت أن أفعل مقطعًا لأنني أردت أن أفعل في ذلك الوقت. (يقود دفق GPT2-chinesechat-NCNN بلا خجل)

ما هو النموذج الذي يجب صنعه : مشبكه هو نفس GPT ، مع العديد من اللعب. عندما رأيت هذا المشروع ، عرفت أن هذه كانت وظيفة ولدت لتناسب ألبومات الهاتف المحمول.

هدف العمل : استخدم NCNN لنشر مقطع لاسترداد الصور في اللغة الطبيعية.

ملاحظة : عمل مشغول ، تحديث بطيء ، نجمة واحدة فقط

ملاحظة : لتسهيل تحميل الجميع ، تم تحميل جميع الطرز وملفات التنفيذ إلى GitHub.

العرض التوضيحي

Android: APK التي يمكن تشغيلها مباشرة

الاستخدام:

1. انقر فوق "مسح الألبوم" أولاً وقم بمسح بعض الصور على هاتفك
2. وفقًا لعدد الصور في كل فترة زمنية ، حدد استخراج ميزة مناسب (الوقت يتناسب مع الرقم ، صورة على Kirin 970 هي 0.5s ، ببطء ، إلخ)
3. أدخل المحتوى الذي تريد البحث فيه في المربع السفلي ، تأكد من استخدام اللغة الإنجليزية! ! !
4. أخيرًا ، انقر فوق "بحث" وستحصل على النتائج (سيتم إصدار النتائج في 1.5s على Kirin 970)

x86: exe التي يمكن أن تعمل مباشرة

الاستخدام: فقط انقر بترتيب الأزرار ، على سبيل المثال:

1. انقر أولاً "انقر فوق" 1.Select Gallery "وحدد مجلد المعرض في الريبو
2. ثم انقر على "2. استخراج ميزات المعرض" لاستخراج خصائص جميع الصور في المجلد المحدد.
3. إذا قمت بإدخال جملة في مربع النص لوصف الصورة التي تريدها ، فيجب عليك استخدام اللغة الإنجليزية ، فلا يهم إذا كنت تريد ذلك.
4. أخيرًا ، انقر فوق "4.Search" ، وسيعود البرنامج تلقائيًا إلى الصورة التي تتطابق بشكل أفضل مع نص الإدخال في مكتبة الصور.

كيف تعمل

1. استخدم Clip's Encode_image لاستخراج ميزات الصورة وإنشاء متجه ميزة المكتبة
2. استخدم Clip's Encode_text لاستخراج ميزات نصي النصي وبرنامج النصي المتجه
3. يمكنك العثور على التشابه بين متجهين للميزات ، والتي يمكن مطابقتها في اتجاهين ، يمكن مطابقتها مع النص ، أو يمكن مطابقتها بالنص
4. يمكنك الحصول على تشابه جميع الصور.
5. بعد تعديل قليل ، يمكنك جعلها وظيفة للبحث عن الصور في ألبوم الهاتف المحمول الخاص بك.
6. يدعم البحث عن الصور بالصور ، والبحث عن الصور مع الأحرف ، والبحث عن الأحرف مع الصور ، وحتى البحث عن الأحرف مع الأحرف. . . هناك العديد من الطرق للعب ، فقط استخدم هذه الميزات للعثور على مشكلات مماثلة ، لذلك لن أخوض في التفاصيل
7. الشيء الأكثر استهلاكًا للوقت هو بناء ناقلات الميزة لجميع الصور في المعرض.

هيكل الريبو

1. Android: الرمز المصدري لبرنامج APK المقدم
2. x86: الكود المصدري لبرنامج EXE المقدم ، استنادًا إلى QT
3. معرض: معرض صغير للاختبار
4. الموارد: مجلد موارد ReadMe

محتوى العمل

• فرز نموذج Pytorch وتصديره
• x86 العرض التوضيحي
  • إذا كنت ترغب في تجميع ، قم بتنزيل ملف .bin هنا ووضعه في المجلد المؤثر لمشروع X86
• Android Demo
  • لتجميع ، قم بتنزيل ملف .bin من رابط X86 أعلاه ووضعه في المجلد Assert لمشروع Android

الرجوع إلى

1. NCNN
2. مقطع
3. البحث الطبيعي-صورة-البحث