QDrant NLP

QDRANT-NLP

Halten Sie den Menschen in der Schleife. Ich bin weder Entwickler bei QDrant noch direkt mit ihnen verbunden, aber ich denke, sie haben etwas ausgezeichnetes gebaut und bisher unterbewertet. Dieses Repo ist hier, um mehr als alles andere als Demo zu fungieren.

https://github.com/qdrant/qdrant

Ich werde es erledigt, sobald es auf ordentlich und verfügbar auf DockerHub ist. Gerade genug, damit Sie es vielleicht verwenden könnten, um Ihren eigenen POC ohne zusätzlichen Code auszuführen.

Sie können fast die Hälfte dieses Tools nur über ihre Swagger-Benutzeroberfläche erreichen. Offensichtlich ist dies zum Auftakt auf einfache APIs und nicht über datenorientierte KI-Workflows ausgelegt. Daher fehlen einige nützliche Komponenten. Diese Arbeit wird hier ausführlicher geschrieben.

Das Toy -Logo liegt irgendwo zwischen einem Lupenglas, um wie das Werkzeug Sie sich wirklich auf eine bestimmte Datenuntergruppe konzentrieren können, und ein klassisches Bayes'sche Diagramm, wenn ich genug weggeführt werde, um ein aktives Lernen hinzuzufügen.

Das Finden der Dokumentation zum Umarmen-Face-Satztransformer über Google-Suche hat mich verrückt gemacht. Hier lebt es hier https://www.sbert.net/docs/hugging_face.html

Schnelle Etikettierung mit Umarmung, Strom und Qdrant. Zuerst werde ich NLP unterstützen, dann werde ich über das Hinzufügen von Bildunterstützung nachdenken (woher diese Idee stammt).

Merkmale

• Unterstützt interaktives Erstellen und Speichern von Abfragen für die QDRant Vector -Datenbank für einen NLP -Datensatz.
• Zeigen Sie für jede Abfrage die Positiven an, zeigen Sie die Negative an und zeigen Sie dann die Ergebnisse an.
• Vielleicht unterstützen Sie das aktive Lernen (irgendwann). Kann ein zweiteiliges System haben, ein Teil, das aktives Lernen verwendet, um die Ähnlichkeitssuche zu optimieren, und das andere, um die nachgelagerte Finetuning zu optimieren. Oder eine, um zu aktualisieren, welcher Datenpunkt eines nächsten Nachbarn -Ansatzes am wenigsten sicher ist (da dies fast sofort aktualisiert werden kann) und ein anderer, um das Modell zu korrigieren, das die Einbettungen generiert.
• Aktivieren Sie das Herunterladen von Datensätzen direkt vom Umarmungsgesicht (zu Einbettungen).
• Ladezeichen beim Erzeugen von Einbettungen.
• SQLitedB, um die Abfrageergebnisse zu speichern, und die Namen der Abfragen + können heuristikbasierte Dinge ausführen, wie Sie es im Mimic -Datensatz getan haben.

Verbesserung der Bereitstellungserfahrung

• Eine Docker-Compose-Datei für Streamlit, Qdrant und Fastapi
• Machen Sie die Docker -Bilder über DockerHub verfügbar

Siehe Kern.ai für eine ausgeblasene Lösung, die QDrant hinter den Kulissen verwendet. Dieses Tool soll einfach genug sein, um als Intro -für Vektordatenbanken zu fungieren. Sie können die Anfragen schreiben und sehen, wie Sie es über die Python -API tun würden.

In ähnlicher Weise ist Koaning/Bulk ausgezeichnet, aber was ist, wenn UMAP (hier alternative Dimensionalitätsreduktionstechnik einfügen) die gesamte Nuance verliert und Visualisierungen auf hoher Ebene keinen Wert für Ihren Datensatz bieten?

Ich wollte auch Fastapi einen winzigen Testlauf geben. Für jede Abfrage (Post -Anfrage) können Sie seine Ergebnisse erhalten, indem Sie den Fastapi -Endpunkt mit dem Namen der Abfrage treffen.

Um diese Tools auf einen multi-modalen Datensatz anzuwenden, müssen Sie die Einbettungen für jede Komponente nur verkettet und mit allen gleichen Technik gehen.

NB: Andere Namen

• Betrachten Sie dieses Ding, wenn Sie es ernst nehmen und die Komponenten aufrüsten
• Oder Carve-N-Serve (wenn die Leute die Fastapi-Komponente tatsächlich mochten). Um die Daten in kleine Stücke zu schnitzen.

Könnte sinnvoll sein, eine Ähnlichkeit anstelle des nächsten Ks zu wenden.

Zu laufen:

Um loszulegen, rennen Sie einfach

 docker-compose up