simtxt

Readme

Características

• Utiliza el modelo LSI para buscar oraciones similares
• El índice es actualizado en segundo plano por un trabajador separado
• El índice se actualiza en cada nueva adición de texto
• Almacenamiento en caché robusto en el lado del cliente
• API GraphQL
• Si las pruebas pasan las imágenes de Docker son construidas automáticamente por Githhub Action y se cargan en Docker Hub

Limitaciones

• Todo el índice se almacena en RAM, por lo que esto no funcionará para grandes conjuntos de datos
• Actualmente, solo se admite una instancia de trabajador de fondo
• El índice se actualiza en cada nueva adición de texto, esto no funcionará para la carga alta (en el escenario del mundo real, lo actualizaría, digamos cada 10 minutos)

Arquitectura y pila

Cliente

• Mecanografiar / reaccionar
• Cliente Apollo para consultar GraphQL y almacenamiento en caché

Servidor

• Aiohttp como servidor HTTP
• Tartiflette para GraphQL (el esquema se puede encontrar aquí)
• Mongo como DB
• Gensim para el modelo LSI
• Spacy para dividir el mensaje de texto en oraciones
• MongoDB Cursor y colección limitada para pubsub para pubsub

Correr

Para ejecutar la construcción de producción, intente lo siguiente. Esto buscará imágenes preconstruidas desde Docker Hub.

 Docker-compuesto

Para el desarrollo (esto construirá imágenes de Docker de Source, que pueden llevar algún tiempo):

 Docker-compose -f docker-composa.dev.yml up

Variables de entorno

Servidor

SIMTXT_DB_URI	URI para la base de datos Mongo (predeterminado: mongodb://localhost:27017 )
SIMTXT_INDEX_MIN_SCORE	Si la puntuación de similitud es más que este valor, incluimos oraciones a la lista de oraciones similares (predeterminada: 0.1 )
SIMTXT_LSI_NUM_TOPIC	Número de temas para el modelo LSI (predeterminado: 100 )

Si tiene un conjunto de datos pequeño y no obtiene oraciones similares, intente cambiar SIMTXT_INDEX_MIN_SCORE a 0 , por ejemplo SIMTXT_INDEX_MIN_SCORE=0 docker-compose up

Cliente

REACT_APP_GRAPHQL_URI

URI para la API GraphQL (predeterminado: http://localhost:8080/graphql )

Pruebas y pelusas

Servidor

 pytest
pylint simtxt
mypy simtxt

Cliente

 Prueba de hilo - -watchall = falso
NPX Eslint SRC