vector database food similarity

Vektordatenbank für die Empfehlung

Verwendungsfall von Ähnlichkeitsempfehlungen für Lebensmittelprodukte mit Chroma -Vektor -Datenbank basierend auf offenen Lebensmittelfakten.

Wie es funktioniert

1. Data Mining und Vorbereitung (Data-mining.js)

Rund 10.000 Produkte werden mit der Open Food Fakten -API abgerufen, aber einige Produkte haben keine Informationen. Nach der Verarbeitung haben wir rund 4.300 Produkte. Jedes Produkt verfügt über eine eindeutige Kennung, einen Namen, eine Bild -URL und den Prozentsatz der Zutaten. Es gibt über 1.500 indexierte Vektoren, wobei jeder Vektor den Prozentsatz einer Zutat im gesamten Lebensmittel (wie Zucker, Öl, Wasser usw.) darstellt.
Führen Sie den folgenden Befehl aus, um die Generierung von Datensätzen zu initiieren:

npm run data-mining

2. Migration auf der Vektordatenbank (Migration.js)

Die Migration exportiert Produktdatensätze ( products.json ) in lokale Chroma -Datenbank.
Um die Migration zu starten, rennen Sie:

npm run migration

3.. Abfragen Sie die Datenbank ab (query.js)

Um eine Abfrage in die Vektor -Datenbank durchzuführen, müssen Sie Vektoren aus Produktdaten generieren.
Zunächst nennen wir die Open Food -Fakten -Produkt -API. Anschließend generieren wir Vektoren zum Einbettung ( likeliest_recipes.json ) und verwenden sie, um eine Anfrage an die Datenbank zu stellen.
Wenn eine Abfrage in der Chroma -Datenbank durchgeführt wird, werden ähnliche Produkte unter Verwendung der Squared L2 Norm Vektor Norm ermittelt:

Andere Vektornormen sind ebenfalls verfügbar, wie das Inner product oder Cosine similarity , weitere Details zu Chroma und HNSWLIB.

Installation

1. Installieren Sie die erforderlichen Pakete mit NPM

   npm ci

2. Um die Chroma -Datenbank in einem Docker -Container auszuführen, setzen Sie sie auf Port 8080 frei

   docker run -p 8000:8000 chromadb/chroma:0.4.21

3. Fragen Sie die Datenbank mit dem eindeutigen Produktcode ab und zeigen Sie die 3 nächsten Übereinstimmungen in der Konsole an.
   Der eindeutige Produktcode befindet sich in der URL Open Food Fakten (Beispiel mit 3017620429484 : https://world.openfoodfacts.org/product/3017620429484/nutella-hazelnut-spead-ferrero))

   node ./query.js product=3017620429484

Datensätze

Alle Datensätze wurden mit der Open Food Facts API extrahiert. Spenden Sie an Open Food Facts Project

• LIELEST_RECIPES.JSON - Liste aller indizierten Vektoren.
• products.json - Liste aller Produkte mit ihren entsprechenden Vektoren.

Lizenz

Dieses Projekt ist mit GNU AGPL V3 -Lizenz lizenziert.
Weitere Informationen finden Sie unter Lizenz.