simtxt

Readme

Merkmale

• Verwendet das LSI -Modell, um nach ähnlichen Sätzen zu suchen
• Der Index wird im Hintergrund durch separate Arbeiter aktualisiert
• Der Index wird über jeden neuen Textabbau aktualisiert
• Robustes Caching auf der Kundenseite
• GraphQL API
• Wenn Tests bestehen, werden Docker -Bilder automatisch durch GithHub -Aktion erstellt und auf Docker Hub hochgeladen

Einschränkungen

• Der gesamte Index wird im RAM gespeichert, sodass dies für große Datensätze nicht funktioniert
• Derzeit wird nur eine Instanz von Hintergrundarbeitern unterstützt
• Der Index wird über jeden neuen Textabzug aktualisiert. Dies funktioniert nicht für High-Lad (in realer Weltszenario würde ich es aktualisieren, sagen wir alle 10 Minuten)

Architektur und Stapel

Kunde

• TypeScript / React
• Apollo Client zum Abfragen von GraphQL und Caching

Server

• AIOHTTP als HTTP -Server
• Tartiflette für GraphQL (Schema finden Sie hier)
• Mongo als db
• Gensim für LSI -Modell
• Spacy, um Text auf Sätzen zu teilen
• MongoDB Tailable Cursor und Capped Collection für PubSub

Läuft

Um die Produktion zu leiten, versuchen Sie Folgendes. Dadurch werden vorgefertigte Bilder von Docker Hub abgerufen.

 Docker-Compose Up

Für die Entwicklung (dies wird Docker -Bilder aus der Quelle aufbauen, die einige Zeit dauern können):

 Docker-Compose -f Docker-compose.dev.yml Up

Umgebungsvariablen

Server

SIMTXT_DB_URI	URI für die Mongo -Datenbank (Standard: mongodb://localhost:27017 )
SIMTXT_INDEX_MIN_SCORE	Wenn die Ähnlichkeitsbewertung mehr als dieser Wert ist, geben wir den Satz in der Liste ähnlicher Sätze ein (Standard: 0.1 ).
SIMTXT_LSI_NUM_TOPIC	Anzahl der Themen für das LSI -Modell (Standard: 100 )

Wenn SIMTXT_INDEX_MIN_SCORE=0 docker-compose up SIMTXT_INDEX_MIN_SCORE kleinen Datensatz haben und keine 0 Sätze erhalten

Kunde

REACT_APP_GRAPHQL_URI

URI für GraphQL API (Standard: http://localhost:8080/graphql )

Tests & Lining

Server

 Pytest
PyRINT SIMTXT
Mypy Simtxt

Kunde

 Garntest -Watchall = False
NPX Eslint Src