simtxt

readme

特徴

• LSIモデルを使用して、同様の文を検索します
• インデックスは、バックグラウンドで個別の労働者によって更新されます
• インデックスは、すべての新しいテキストの追加について更新されます
• クライアント側での堅牢なキャッシュ
• GraphQl API
• テストパスDocker画像がGithhubアクションによって自動的に構築され、Docker Hubにアップロードされた場合

制限

• インデックス全体がRAMに保存されるため、これは大きなデータセットでは機能しません
• 現在、バックグラウンドワーカーの1つのインスタンスのみがサポートされています
• インデックスはすべての新しいテキストの追加で更新されますが、これは高負荷に合わせて機能しません（現実世界のシナリオでは、10分ごとに更新します）

アーキテクチャとスタック

クライアント

• タイプスクリプト /反応
• GraphQLとキャッシュをクエリするためのApolloクライアント

サーバ

• HTTPサーバーとしてAIOHTTP
• GraphQLのTartiflette（スキーマはこちらにあります）
• dbとしてのマンゴ
• LSIモデルのgensim
• 文でテキストを分割するスペイシー
• Pubsub用のMongodb Tailable CursorとCapped Collection

ランニング

生産ビルドを実行するには、以下をお試しください。これにより、Docker Hubから事前に構築された画像が取得されます。

 Docker-Compose Up

開発の場合（これにより、SourceからDocker画像が作成され、時間がかかる場合があります）：

 docker-compose -f docker-compose.dev.yml up

環境変数

サーバ

SIMTXT_DB_URI	URI for Mongoデータベース（デフォルト： mongodb://localhost:27017 ）
SIMTXT_INDEX_MIN_SCORE	類似性スコアがこの値を超えている場合、同様の文のリストに文を含めています（デフォルト： 0.1 ）
SIMTXT_LSI_NUM_TOPIC	LSIモデルのトピックの数（デフォルト： 100 ）

小さなデータセットがあり、同様の文を取得していない場合は、 SIMTXT_INDEX_MIN_SCORE 0に変更しようとします。たとえばSIMTXT_INDEX_MIN_SCORE=0 docker-compose up

クライアント

REACT_APP_GRAPHQL_URI

GraphQl APIのURI（デフォルト： http://localhost:8080/graphql ）

テストと糸くず

サーバ

pytest
Pylint simtxt
mypy simtxt

クライアント

YARNテスト-WatchAll = false
NPX ESLINT SRC