simtxt

Ридме

Функции

• Использует модель LSI для поиска аналогичных предложений
• Индекс обновляется в фоновом режиме отдельным работником
• Индекс обновляется на каждом новом добавлении текста
• Крепкое кэширование на стороне клиента
• Graphql api
• Если тесты пропускают изображения Docker автоматически с помощью действия Githhub и загружаются в Docker Hub

Ограничения

• Весь индекс хранится в оперативной памяти, так что это не будет работать для больших наборов данных
• В настоящее время поддерживается только один экземпляр фонового работника
• Индекс обновляется на каждом новом добавлении текста, это не будет работать для высокой нагрузки (в сценарии в реальном мире я бы обновил бы его, скажем, каждые 10 минут)

Архитектура и стек

Клиент

• TypeScript / React
• Клиент Apollo для запроса GraphQL и кэширования

Сервер

• Aiohttp как http -сервер
• Tartiflette для GraphQL (схемы можно найти здесь)
• Монго как дБ
• Gensim для модели LSI
• Spacy, чтобы разделить текст на предложениях
• Custable Cursor MongoDB и Capped Collection для Pubsub

Бег

Чтобы запустить производственную сборку, попробуйте следующее. Это принесет предварительно построенные изображения из Docker Hub.

 Docker составить

Для разработки (это создаст изображения Docker из Source, что может занять некоторое время):

 Docker-Compose -f docker-compose.dev.yml up

Переменные среды

Сервер

SIMTXT_DB_URI	URI для базы данных Mongo (по умолчанию: mongodb://localhost:27017 )
SIMTXT_INDEX_MIN_SCORE	Если оценка сходства больше, чем это значение, мы включаем предложение в список аналогичных предложений (по умолчанию: 0.1 )
SIMTXT_LSI_NUM_TOPIC	Количество тем для модели LSI (по умолчанию: 100 )

Если у вас есть небольшой набор данных, и вы не получите аналогичных предложений, попробуйте изменить SIMTXT_INDEX_MIN_SCORE на 0 , например SIMTXT_INDEX_MIN_SCORE=0 docker-compose up

Клиент

REACT_APP_GRAPHQL_URI

URI для GraphQL API (по умолчанию: http://localhost:8080/graphql )

Тесты и лининг

Сервер

 питест
Pylint simtxt
Mypy simtxt

Клиент

 Тест пряжи -watchall = false
NPX Eslint SRC