tangseng

GO言語に基づくTangseng検索エンジン

プロジェクトの詳細な内容については、ここをクリックしてください

プロジェクトの一般的なフレームワークと機能

1. GINはHTTPフレームワークとして使用され、GRPCはRPCフレームワークとして使用されます。
2. サービス全体は、用户模块、收藏夹模块、索引平台、搜索引擎(文字模块) 、および搜索引擎(图片模块)に分割されます。
3. 分散したクローラーはデータをクロールし、それをKafkaクラスターに送信し、データベースに入り、消費します。 （クローラーはまだそれを書いていませんが、それは私がケーキを描くことを妨げません...）
4. 検索エンジンモジュールのテキスト検索は、boltdbを使用してインデックスを保存し、MapReduceインデックスビルディングを加速し、 roaring bitmapを使用してインデックスを保存します。
5. Trie Treeを使用してエントリーアソシエーションを実装します（アルゴリズムモデル補助エントリアソシエーションは、後で追加する予定です）。
6. 画像検索では、RESNET50を使用して、MilvusまたはFaiss Vectorデータベースのベクトル化クエリ +クエリを実行します（START ... DeepLearningは難しすぎます...）。
7. 複数のリコール、GOのリバースインデックスリコール、およびPythonでのベクトルリコールをサポートします。接続はGRPCを介して呼び出され、融合を実行します。
8. TF-IDF、BM25、およびその他のアルゴリズムソートをサポートします。

?? ‍フロントエンドアドレス

すべて反応しますが、それでもコーディング

React-Tangseng

将来の計画

建築関連

• ダウングレードヒューズを紹介します
• フルリンクトラッキングのためにJaegerを紹介します（Pythonへの追跡に移動）
• 監視のためにスカイウォークまたはプロメテウスを紹介します
• DAOからinitを抽出し、キーを使用して関連するデータベースインスタンスを取得します
• ホットデータとコールドデータの分離（ESスキームを参照してください。キーは、ミドルウェアで記述される可能性のある高温および低温の基準を判断することです。）
• 現在、MySQLはフォワードインデックスを保存するのに十分ですが、1つのステップで直接使用できます。

機能関連

• その後、インデックスを追加するには遅すぎます。
• インデックス圧縮、反転インデックス、つまり反転インデックステーブルは、その後オフセットを保存するために変更し、MMAPを使用します
• 相関の計算を考慮する必要があります、TFIDF、BM25
• プレフィックスツリーを使用して、関連情報を保存します
• ハフマンは圧縮プレフィックスツリーをエンコードしました
• インデックスを作成すると、ファイル転送アドレスがファイル転送ストリームに変更されます
• Pythonは、単語セグメンテーションの推奨ワードを実行するためにBETモデルを導入し、GRPCインターフェイスを提供します
• 反転したトリーツリーの保管は、一貫したハッシュシェードストレージをサポートします
• 単語ベクトル
• Pagerank
• トリーツリーを分離するビルドとリコールのプロセス
• ik単語分詞に単語分詞を追加します
• インデックスプラットフォームの構築、個別のコンピューティングとストレージ、個別のインデックスとリコール
• および差分操作（ビット操作）
• ページネーション
• 選別
• 「lu jiazui」などの正しい入力クエリ - >「lu jiazui」
• 「Dongfang Ming」のヒントなど、エントリを入力するには、「Dongfang Pearl」などのエントリを入力してください。
• 現在、これはブロックベースのインデックス作成方法です。
• 前のものに基づいて動的なインデックスを追加します（前のものを実装できるかどうかはわかりません...）
• リバースインデックスを改革し、Roaring Bitmapを使用してDocidを保存します（非常に困難）
• TFクラスを実装します
• 検索した後、キャッシュはクリアされず、結果が前のキャッシュとマージされます。
• ソーターの最適化

迅速に開始します

環境が始まります！

make env-up

小さなデータセットはsource_data/movies_data.csvにあります

Pythonが始まります！

1. コンピューターにPythonがインストールされていることを確認してください。Pythonバージョン> = 3.9、私のバージョンが3.10.2であることを確認してください

   python --version

2. venv環境をインストールします

   python -m venv venv

3. Venv Python環境を有効にします

   macos：

    source venv/bin/activate

   Windows：

   Cドライブのクリアを終了した後、私は互換性があります...私はまだ勝ちません...

4. サードパーティの依存関係をインストールします

    pip install - r requirements . txt

ゴーランが始まります！

Golangバージョン> = GO 1.16。私のGOバージョンは1.18.6です

1. サードパーティの依存関係パッケージをダウンロードします

   go mod tidy

2. ディレクトリで実行します

   make run-xxx(user,favortie ...)
   # e.g:
   # make run-user
   # make run-favorite
   # 具体看makefile文件

オープンソースの貢献

prを提出する前に、 CONTRIBUTING_CN.md確認してください