simtxt

Readme

Características

• Usa o modelo LSI para pesquisar frases semelhantes
• O índice é atualizado em segundo plano por trabalhador separado
• O índice é atualizado em cada nova adição de texto
• Cache robusto no lado do cliente
• API do GraphQL
• Se os testes passam as imagens do Docker forem construídas automaticamente por ação do GithHub e enviadas para o Docker Hub

Limitações

• Todo o índice é armazenado na RAM, então isso não funcionará para grandes conjuntos de dados
• Atualmente, apenas uma instância do trabalhador de fundo é suportada
• O índice é atualizado em todas as novas adições de texto, isso não funcionará para alta carga (no cenário do mundo real que eu atualizaria, digamos a cada 10 minutos)

Arquitetura e pilha

Cliente

• TypeScript / React
• Cliente Apollo para consultar o GraphQL e o cache

Servidor

• Aiohttp como servidor http
• Tartiflette para grafql (o esquema pode ser encontrado aqui)
• Mongo como DB
• Gensim para o modelo LSI
• Spacy para dividir o texto em frases
• MongoDB Cursor e coleção Capped para pubsub

Correndo

Para executar a construção de produção, tente o seguinte. Isso buscará imagens pré-construídas no Docker Hub.

 Docker-compor

Para o desenvolvimento (isso criará imagens do Docker da fonte, que podem levar algum tempo):

 docker-compose -f docker-compose.dev.yml up

Variáveis ​​de ambiente

Servidor

SIMTXT_DB_URI	URI para Mongo Database (Padrão: mongodb://localhost:27017 )
SIMTXT_INDEX_MIN_SCORE	Se a pontuação de similaridade for mais do que esse valor, estamos incluindo a sentença à lista de frases semelhantes (padrão: 0.1 )
SIMTXT_LSI_NUM_TOPIC	Número de tópicos para o modelo LSI (Padrão: 100 )

Se você possui um pequeno conjunto de dados e não receber frases semelhantes, tente alterar SIMTXT_INDEX_MIN_SCORE para 0 , por exemplo SIMTXT_INDEX_MIN_SCORE=0 docker-compose up

Cliente

REACT_APP_GRAPHQL_URI

URI para grafql API (Padrão: http://localhost:8080/graphql )

Testes e linha

Servidor

 Pytest
pylint Simtxt
mypy simtxt

Cliente

 Teste de fio - -watchall = false
NPX ESLint Src