Clip-imagessearch-ncnn
Idée : Je pense que ce projet est très adapté à la fonction de recherche d'albums photo d'albums de téléphone mobile de Yongcheng, faufilant chaque image en arrière-plan pour extraire les fonctionnalités, afin que les résultats puissent être produits en quelques secondes lorsqu'ils sont utilisés à la fin. Il fournit également la probabilité de correspondance de chaque image, qui peut être affichée de haut à faible en fonction de la probabilité de retourner le résultat du flux d'image.
Pourquoi ? (En tête sans vergogne le flux GPT2-Chinesechat-ncnn)
Quel modèle à faire : Clip est le même que GPT, avec beaucoup de gameplay. Quand j'ai vu ce projet, je savais que c'était une fonction qui est née pour tenir dans les albums de téléphonie mobile.
Objectif de travail : Utilisez NCNN pour déployer un clip pour récupérer des images en langage naturel.
PS : travail occupé, mise à jour lente, une seule étoile
Remarque : Pour faciliter tout le monde, tous les modèles et fichiers d'exécution ont été téléchargés sur github.
Démo
Android: apk qui peut être exécuté directement
usage:
- Cliquez d'abord "Scan the Album" et scannez quelques photos sur votre téléphone
- Selon le nombre d'images à chaque période, sélectionnez une extraction de caractéristiques appropriée (le temps est proportionnel au nombre, une image sur Kirin 970 est de 0,5 s, lentement, etc.)
- Entrez le contenu que vous souhaitez rechercher dans la boîte inférieure, assurez-vous d'utiliser l'anglais! ! !
- Enfin, cliquez sur "Rechercher" et vous obtiendrez les résultats (les résultats seront publiés en 1.5s sur Kirin 970)
x86: exe qui peut fonctionner directement
Utilisation: cliquez simplement dans l'ordre des boutons, par exemple:
- Cliquez d'abord "1.Sélectionnez la galerie" et sélectionnez le dossier de la galerie du repo
- Cliquez ensuite sur "2. Extraire les fonctionnalités de la galerie" pour extraire les caractéristiques de toutes les images du dossier sélectionné.
- Si vous entrez une phrase dans la zone de texte pour décrire l'image que vous souhaitez, vous devez utiliser l'anglais, peu importe si vous le souhaitez.
- Enfin, cliquez sur "4.Search" et le programme reviendra automatiquement à l'image qui correspond le mieux au texte d'entrée de la bibliothèque d'images.
Comment ça marche
- Utilisez Encode_image de Clip pour extraire les fonctionnalités de l'image et construisez le vecteur de fonctionnalité d'une bibliothèque
- Utilisez Encode_text de Clip pour extraire les fonctionnalités du texte de la fonction de texte du texte et de la création
- Trouver la similitude entre deux vecteurs de fonctionnalités, qui peuvent être appariés dans deux directions, peuvent être assortis avec du texte ou peuvent être appariés avec du texte
- Vous pouvez obtenir la similitude de toutes les images.
- Après une petite modification, vous pouvez en faire une fonction de rechercher des images dans votre album mobile.
- Prend en charge la recherche d'images avec des images, la recherche d'images avec des personnages, la recherche de personnages avec des images et même la recherche de personnages avec des personnages. . . Il existe de nombreuses façons de jouer, utilisez simplement ces fonctionnalités pour trouver des problèmes similaires, donc je n'entrerai pas dans les détails
- La chose la plus longue consiste à construire les vecteurs de fonctionnalités de toutes les images de la galerie.
Structure de réapprovisionnement
- Android: le code source du programme APK fourni
- x86: le code source du programme EXE fourni, basé sur QT
- Galerie: une petite galerie pour les tests
- Ressources: le dossier de ressources de ReadMe
Contenu de travail
se référer à
- ncnn
- AGRAFE
- recherche naturelle-image
