CLIP ImageSearch NCNN

Clip-iMagesearch-ncnn

Idea : Creo que este proyecto es muy adecuado para la propia función de búsqueda de álbumes de fotos de teléfono móvil de Yongcheng, escabulliendo cada imagen en segundo plano para extraer características, de modo que los resultados se pueden producir en segundos cuando se usa al final. También proporciona la probabilidad de coincidencia de cada imagen, que se puede mostrar de alta a baja de acuerdo con la probabilidad de devolver el resultado de la secuencia de imágenes.

¿Por qué hacerlo ? (Liderando descaradamente el flujo GPT2-ChineSechat-Ncnn)

Qué modelo para hacer : Clip es lo mismo que GPT, con muchos juegos. Cuando vi este proyecto, supe que esta era una función que nació para encajar en los álbumes de teléfonos móviles.

Objetivo de trabajo : Use NCNN para implementar el clip para recuperar imágenes en lenguaje natural.

PD : Trabajo ocupado, actualización lenta, solo una estrella

Nota : Para facilitar que todos descarguen, todos los modelos y archivos de ejecución se han subido a GitHub.

Manifestación

Android: APK que se puede ejecutar directamente

uso:

1. Haga clic en "Escanee el álbum" primero y escanea algunas imágenes en tu teléfono
2. Según el número de imágenes en cada período de tiempo, seleccione una extracción de características adecuada (el tiempo es proporcional al número, una imagen en Kirin 970 es de 0.5s, lentamente, etc.)
3. Ingrese el contenido que desea buscar en el cuadro inferior, ¡asegúrese de usar el inglés! ! !
4. Finalmente, haga clic en "Buscar" y obtendrá los resultados (los resultados se lanzarán en 1.5s en Kirin 970)

x86: exe que puede ejecutarse directamente

Uso: solo haga clic en el orden de los botones, por ejemplo:

1. Primero haga clic en "1.Select Gallery" y seleccione la carpeta de la galería del repositorio
2. Luego haga clic en "2. Extraiga las características de la galería" para extraer las características de todas las imágenes en la carpeta seleccionada.
3. Si ingresa una oración en el cuadro de texto para describir la imagen que desea, debe usar el inglés, no importa si lo desea.
4. Finalmente, haga clic en "4.Search", y el programa volverá automáticamente a la imagen que mejor coincide con el texto de entrada en la biblioteca de imágenes.

Cómo funciona

1. Use el Code_Image de Clip para extraer las características de la imagen y construir el vector de características de una biblioteca
2. Use el Code_Text de Clip para extraer las características del texto y el vector de características de texto de compilación
3. Encuentre la similitud entre dos vectores de características, que se pueden coincidir en dos direcciones, se pueden combinar con texto o se pueden combinar con texto
4. Puedes obtener la similitud de todas las imágenes.
5. Después de un poco de modificación, puede hacer que sea una función de buscar imágenes en su álbum móvil.
6. Admite buscar imágenes con imágenes, buscar imágenes con personajes, buscar caracteres con imágenes e incluso buscar personajes con personajes. . . Hay muchas formas de jugar, solo use esas características para encontrar problemas similares, por lo que no entraré en detalles.
7. Lo más lento es construir los vectores de características de todas las imágenes en la galería.

Estructura de repo

1. Android: el código fuente del programa APK proporcionado
2. x86: el código fuente del programa EXE proporcionado, basado en QT
3. Galería: una pequeña galería para probar
4. Recursos: Carpeta de recursos de ReadMe

Contenido de trabajo

• Clasificación y exportación del modelo de Pytorch
• X86 demo
  • Si desea compilar, descargue el archivo .bin aquí y colóquelo en la carpeta Afirmar del proyecto X86
• demostración de Android
  • Para compilar, descargue el archivo .bin del enlace X86 arriba y colóquelo en la carpeta Afirmar del proyecto Android

referirse a

1. ncnn
2. ACORTAR
3. búsqueda de imagen natural