CLIP ImageSearch NCNN

CLIP-IMAGESEARCH-NCNN

Идея : я думаю, что этот проект очень подходит для собственной функции поиска фотоальбома Yongcheng Mobile Phone, выявляя каждую картину в фоновом режиме для извлечения функций, чтобы результаты могли быть получены в секундах при использовании в конце. Он также обеспечивает вероятность сопоставления каждого изображения, которое может отображаться от высокого до низкого уровня в зависимости от вероятности вернуть результат потока изображения.

Зачем это ? (Бесстыдно лидировал по потоку GPT2-CHINESECHAT-NCNN)

Какую модель можно сделать : клип такой же, как GPT, с множеством игрового процесса, я выбрал его в Awesome Clip. Когда я увидел этот проект, я знал, что это была функция, которая была рождена, чтобы соответствовать альбомам мобильных телефонов.

Задача работы : используйте NCNN для развертывания клипа, чтобы получить изображения на естественном языке.

PS : занятая работа, медленное обновление, только одна звезда

Примечание . Чтобы облегчить загрузку, все модели и файлы выполнения были загружены в GitHub.

Демо

Android: APK, который можно запустить напрямую

Использование:

1. Нажмите «Сканировать альбом» сначала и сканируйте несколько фотографий на вашем телефоне
2. Согласно количеству изображений в каждом периоде времени, выберите подходящую извлечение функции (время пропорционально числу, изображение на Kirin 970 составляет 0,5 с, медленно и т. Д.)
3. Введите контент, который вы хотите найти в нижнем поле, обязательно используйте английский! ! !
4. Наконец, нажмите «Поиск», и вы получите результаты (результаты будут выпущены в 1,5 с на Kirin 970)

x86: exe, который может работать напрямую

Использование: просто нажмите на заказ кнопок, например:

1. Сначала нажмите «1. Выберите галерею» и выберите папку галереи репо.
2. Затем нажмите «2. Извлеките функции галереи», чтобы извлечь характеристики всех изображений в выбранной папке.
3. Если вы введете предложение в текстовое поле, чтобы описать желаемую картинку, вы должны использовать английский, не имеет значения, если вы этого хотите.
4. Наконец, нажмите «4.Search», и программа автоматически вернется к изображению, которое лучше всего соответствует тексту ввода в библиотеке изображений.

Как это работает

1. Используйте Clip's Encode_image, чтобы извлечь функции изображения и создать вектор функций библиотеки
2. Используйте Clip's Encode_text, чтобы извлечь функции текста и создать вектор текста.
3. Найти сходство между двумя векторами функций, которые можно соответствовать в двух направлениях, может быть сопоставлено с текстом или может быть сопоставлен с текстом
4. Вы можете получить сходство всех картин.
5. После небольшой модификации вы можете сделать его функцией поиска фотографий в вашем мобильном альбоме.
6. Поддерживает поиск изображений с изображениями, поиск изображений с персонажами, поиск персонажей с изображениями и даже поиск персонажей с персонажами. Полем Полем Есть много способов играть, просто используйте эти функции, чтобы найти подобные проблемы, поэтому я не буду вдаваться в подробности
7. На самом деле наиболее трудоемкая вещь-это создание векторов функций всех изображений в галерее.

Репо -структура

1. Android: исходный код программы APK предоставлен
2. x86: исходный код предоставленной программы EXE на основе QT
3. Галерея: небольшая галерея для тестирования
4. Ресурсы: папка ресурсов Readme

Рабочее содержание

• Сортировка и экспорт модели Pytorch
• x86 Демо
  • Если вы хотите скомпилировать, загрузите файл .bin здесь и поместите его в папку Assert проекта x86
• Android Demo
  • Для компиляции загрузите файл .bin по ссылке x86 выше и поместите его в папку Assert проекта Android

обратиться к

1. ncnn
2. Клип
3. Натуральный языковой поиск