simtxt

readme

특징

• LSI 모델을 사용하여 유사한 문장을 검색합니다
• 인덱스는 별도의 작업자에 의해 백그라운드에서 업데이트됩니다
• 모든 새로운 텍스트 추가마다 인덱스가 업데이트됩니다
• 클라이언트 측에서 강력한 캐싱
• GraphQL API
• Tests Pass Pass Docker 이미지가 Githhub 조치에 의해 자동으로 구축되고 Docker Hub에 업로드되는 경우

제한

• 전체 인덱스는 RAM에 저장되므로 큰 데이터 세트에는 작동하지 않습니다.
• 현재 백그라운드 작업자의 하나만 지원됩니다
• 인덱스는 모든 새로운 텍스트 추가마다 업데이트되며, 이것은 고로드에 대해서는 작동하지 않습니다 (실제 시나리오에서는 10 분마다 업데이트하겠습니다).

아키텍처 및 스택

고객

• TypeScript / React
• GraphQL 및 캐싱 쿼리를위한 Apollo 클라이언트

섬기는 사람

• HTTP 서버로서 AIOHTTP
• Tartiflette for GraphQL (스키마는 여기에서 찾을 수 있음)
• DB로서의 몽고
• LSI 모델의 성 Gensim
• 문장에 텍스트를 분할하는 스파이
• Mongodb Tailable Cursor 및 Pubsub의 캡핑 된 컬렉션

달리기

생산 빌드를 실행하려면 다음을 시도하십시오. 이것은 Docker Hub에서 사전 구축 된 이미지를 가져올 것입니다.

 Docker-compose

개발을 위해 (이것은 시간이 걸릴 수있는 소스에서 Docker 이미지를 구축 할 것입니다) :

 docker-compose -f docker-compose.dev.yml up

환경 변수

섬기는 사람

SIMTXT_DB_URI	몽고 데이터베이스의 URI (기본값 : mongodb://localhost:27017 )
SIMTXT_INDEX_MIN_SCORE	유사성 점수 가이 값보다 더 큰 경우 유사한 문장 목록에 문장을 포함합니다 (기본값 : 0.1 )
SIMTXT_LSI_NUM_TOPIC	LSI 모델에 대한 주제 수 (기본값 : 100 )

작은 데이터 세트가 있고 비슷한 문장을받지 못하는 경우 SIMTXT_INDEX_MIN_SCORE 0 으로 변경하려고 시도하십시오 (예 : SIMTXT_INDEX_MIN_SCORE=0 docker-compose up

고객

REACT_APP_GRAPHQL_URI

GraphQL API의 uri (기본값 : http://localhost:8080/graphql )

테스트 및 라인

섬기는 사람

 pytest
Pylint simtxt
mypy simtxt

고객

 원사 테스트 -watchall = false
NPX ESLINT SRC