simtxt

读书我

特征

• 使用LSI模型搜索类似的句子
• 索引在背景中由单独的工人更新
• 索引已在每个新文本中更新
• 客户端的强大缓存
• GraphQL API
• 如果测试通过docker图像是通过githhub Action自动构建的，并将上传到Docker Hub

限制

• 整个索引存储在RAM中，因此这对大数据集不起作用
• 目前仅支持一个背景工人实例
• 索引对每个新文本进行更新，这将无法进行高负载（在现实世界的情况下，我会更新一次，以便每10分钟一次）

建筑和堆栈

客户

• 打字稿 / React
• 用于查询GraphQL和缓存的Apollo客户端

服务器

• AIOHTTP为HTTP服务器
• GraphQl的tartiflette（可以在此处找到架构）
• Mongo为DB
• LSI模型的Gensim
• 将句子分开的文字
• MongoDB可型型光标和限制收藏品用于Pubsub

跑步

要运行生产构建尝试以下内容。这将从Docker Hub获取预先构建的图像。

码头组合

用于开发（这将从源头构建码头图像，这可能需要一些时间）：

 docker-compose -f docker-compose.dev.yml up

环境变量

服务器

SIMTXT_DB_URI	Mongo数据库的URI（默认： mongodb://localhost:27017 ）
SIMTXT_INDEX_MIN_SCORE	如果相似性得分超过此值，我们将句子包括到相似句子的列表（默认： 0.1 ）
SIMTXT_LSI_NUM_TOPIC	LSI模型的主题数（默认： 100 ）

如果您的数据集很小并且没有得到任何类似的句子，请尝试将SIMTXT_INDEX_MIN_SCORE SIMTXT_INDEX_MIN_SCORE=0 docker-compose up为0

客户

REACT_APP_GRAPHQL_URI

graphQl api的URI（默认： http://localhost:8080/graphql ）

测试和覆盖

服务器

pytest
Pylint Simtxt
mypy simtxt

客户

纱线测试-Watchall = false
NPX ESLINT SRC