simtxt

Réadmettre

Caractéristiques

• Utilise le modèle LSI pour rechercher des phrases similaires
• L'index est mis à jour en arrière-plan par un travailleur séparé
• L'index est mis à jour sur chaque nouvel ajout de texte
• Cache robuste côté client
• API GraphQL
• Si les tests passes d'images Docker sont construits automatiquement par l'action GithHub et téléchargés sur Docker Hub

Limites

• L'indice entier est stocké en RAM, donc cela ne fonctionnera pas pour les grands ensembles de données
• Actuellement, une seule instance de travailleur d'arrière-plan est soutenue
• L'index est mis à jour sur chaque nouvel ajout de texte, cela ne fonctionnera pas pour une charge élevée (dans un scénario réel, je le mettrais à jour, disons toutes les 10 minutes)

Architecture et pile

Client

• TypeScript / React
• Client Apollo pour interroger GraphQL et mise en cache

Serveur

• AIOHTTP en tant que serveur HTTP
• Tartiflette pour GraphQL (le schéma peut être trouvé ici)
• Mongo comme DB
• Gensim pour le modèle LSI
• Spacy pour diviser des SMS sur les phrases
• MONGODB Cursor tailable et collection plafonnée pour Pubsub

En cours d'exécution

Pour exécuter la production de production, essayez ce qui suit. Cela va récupérer les images prédéfinies de Docker Hub.

 secouer docker

Pour le développement (cela créera des images Docker de Source, qui peuvent prendre un certain temps):

 docker-compose -f docker-compose.dev.yml up

Variables d'environnement

Serveur

SIMTXT_DB_URI	URI pour la base de données Mongo (par défaut: mongodb://localhost:27017 )
SIMTXT_INDEX_MIN_SCORE	Si le score de similitude est supérieur à cette valeur, nous incluons une phrase à la liste des phrases similaires (par défaut: 0.1 )
SIMTXT_LSI_NUM_TOPIC	Nombre de sujets pour le modèle LSI (par défaut: 100 )

Si vous avez un petit ensemble de données et que vous n'obtenez pas de phrases similaires, essayez de modifier SIMTXT_INDEX_MIN_SCORE à 0 , par exemple SIMTXT_INDEX_MIN_SCORE=0 docker-compose up

Client

REACT_APP_GRAPHQL_URI

URI pour API GraphQL (par défaut: http://localhost:8080/graphql )

Tests et libellé

Serveur

 pytest
pylint simtxt
mypy simtxt

Client

 Test du fil - watchall = false
npx eslint src