simtxt

讀書我

特徵

• 使用LSI模型搜索類似的句子
• 索引在背景中由單獨的工人更新
• 索引已在每個新文本中更新
• 客戶端的強大緩存
• GraphQL API
• 如果測試通過docker圖像是通過githhub Action自動構建的，並將上傳到Docker Hub

限制

• 整個索引存儲在RAM中，因此這對大數據集不起作用
• 目前僅支持一個背景工人實例
• 索引對每個新文本進行更新，這將無法進行高負載（在現實世界的情況下，我會更新一次，以便每10分鐘一次）

建築和堆棧

客戶

• 打字稿 / React
• 用於查詢GraphQL和緩存的Apollo客戶端

伺服器

• AIOHTTP為HTTP服務器
• GraphQl的tartiflette（可以在此處找到架構）
• Mongo為DB
• LSI模型的Gensim
• 將句子分開的文字
• MongoDB可型型光標和限制收藏品用於Pubsub

跑步

要運行生產構建嘗試以下內容。這將從Docker Hub獲取預先構建的圖像。

碼頭組合

用於開發（這將從源頭構建碼頭圖像，這可能需要一些時間）：

 docker-compose -f docker-compose.dev.yml up

環境變量

伺服器

SIMTXT_DB_URI	Mongo數據庫的URI（默認： mongodb://localhost:27017 ）
SIMTXT_INDEX_MIN_SCORE	如果相似性得分超過此值，我們將句子包括到相似句子的列表（默認： 0.1 ）
SIMTXT_LSI_NUM_TOPIC	LSI模型的主題數（默認： 100 ）

如果您的數據集很小並且沒有得到任何類似的句子，請嘗試將SIMTXT_INDEX_MIN_SCORE SIMTXT_INDEX_MIN_SCORE=0 docker-compose up為0

客戶

REACT_APP_GRAPHQL_URI

graphQl api的URI（默認： http://localhost:8080/graphql ）

測試和覆蓋

伺服器

pytest
Pylint Simtxt
mypy simtxt

客戶

紗線測試-Watchall = false
NPX ESLINT SRC