Clip-Imagessearch-ncnn
Idee : Ich denke, dieses Projekt ist sehr geeignet für die eigene Foto -Album -Suchfunktion von Yongcheng Mobiltelefon und schleichen Sie jedes Bild in den Hintergrund, um Funktionen zu extrahieren, damit die Ergebnisse in Sekunden produziert werden können, wenn sie am Ende verwendet werden. Es bietet auch die passende Wahrscheinlichkeit jedes Bildes, die je nach Wahrscheinlichkeit von hoch bis niedrig angezeigt werden kann, das Ergebnis des Bildstroms zurückzugeben.
Warum wollte ich zu diesem Zeitpunkt einen Clip machen, weil ich GPT vornehmen wollte. (Schamlos den Stream GPT2-Chineschat-NCNN anführen)
Welches Modell ist das gleiche wie GPT, mit vielen Spielen. Als ich dieses Projekt sah, wusste ich, dass dies eine Funktion war, die geboren wurde, um in Handy -Alben zu passen.
Arbeitsziel : Verwenden Sie NCNN, um Clips bereitzustellen, um Bilder in natürlicher Sprache abzurufen.
PS : Beschäftigte Arbeit, langsames Update, nur ein Stern
Hinweis : Um allen zum Herunterladen zu erleichtern, wurden alle Modelle und Ausführungsdateien auf GitHub hochgeladen.
Demo
Android: APK, der direkt ausgeführt werden kann
Verwendung:
- Klicken Sie zuerst auf "Scannen Sie das Album" und scannen Sie einige Bilder auf Ihrem Telefon
- Entsprechend der Anzahl der Bilder in jedem Zeitraum wählen Sie eine geeignete Feature -Extraktion aus (die Zeit ist proportional zur Zahl, ein Bild auf Kirin 970 beträgt 0,5s, langsam usw.).
- Geben Sie den Inhalt ein, den Sie im unteren Feld suchen möchten. Verwenden Sie unbedingt Englisch! ! !
- Klicken Sie schließlich auf "Suche" und Sie erhalten die Ergebnisse (die Ergebnisse werden in 1,5s auf Kirin 970 veröffentlicht).
x86: exe, das direkt laufen kann
Verwendung: Klicken Sie einfach in die Reihenfolge der Schaltflächen, zum Beispiel:
- Klicken Sie zuerst auf "1. Select Gallery" und wählen Sie den Galerieordner des Repo aus
- Klicken Sie dann auf "2. Extrahieren Sie die Galeriefunktionen", um die Eigenschaften aller Bilder im ausgewählten Ordner zu extrahieren.
- Wenn Sie einen Satz in das Textfeld eingeben, um das gewünschte Bild zu beschreiben, müssen Sie Englisch verwenden. Es spielt keine Rolle, ob Sie es möchten.
- Klicken Sie schließlich auf "4.Search", und das Programm kehrt automatisch zu dem Bild zurück, das am besten mit dem Eingabetxt in der Bildbibliothek übereinstimmt.
Wie es funktioniert
- Verwenden Sie CLIPs Encode_Image, um die Funktionen des Bildes zu extrahieren und den Feature -Vektor einer Bibliothek zu erstellen
- Verwenden Sie den CLIP -CLIP -CODE_TEXT, um die Funktionen des Textes zu extrahieren und Textfunktionsvektor zu erstellen
- Finden Sie die Ähnlichkeit zwischen zwei Feature -Vektoren, die in zwei Richtungen abgestimmt werden können, mit Text abgestimmt oder mit Text abgeglichen werden
- Sie können die Ähnlichkeit aller Bilder bekommen, um faul zu sein, ich habe nur die mit der höchsten Matching -Wahrscheinlichkeit gezeigt.
- Nach einer kleinen Änderung können Sie es zu einer Funktion zum Durchsuchen von Bildern in Ihrem mobilen Album machen.
- Unterstützt das Durchsuchen von Bildern mit Bildern, das Durchsuchen von Bildern mit Zeichen, das Durchsuchen von Zeichen mit Bildern und sogar die Suche von Zeichen mit Zeichen. . . Es gibt viele Möglichkeiten zum Spielen. Verwenden Sie diese Funktionen einfach, um ähnliche Probleme zu finden, sodass ich nicht in Details eingehen werde
- Das zeitaufwändige Ding ist das Erstellen der Feature-Vektoren aller Bilder in der Galerie.
Repo -Struktur
- Android: Der Quellcode des angegebenen APK -Programms
- x86: Der Quellcode des bereitgestellten EXE -Programms basierend auf QT
- Galerie: Eine kleine Galerie zum Testen
- Ressourcen: ReadMes Ressourcenordner
Inhalt arbeiten
beziehen sich auf
- ncnn
- Clip
- Natürliche Sprache-Image-Suche
