dawnsearch

DawnSearch

DawnSearchは、意味で検索するオープンソース分散Web検索エンジンです。 All-Minilm-L6-V2を使用して、セマンティック検索（意味で検索）を使用します。 Vector SearchにUsearchを使用します。一般的なクロールデータをインデックス化できます。 DawnSearchは錆で書かれています。

公開インスタンスはdawnsearch.orgで入手できます。

プロジェクトステータス

DawnSearchは現在、分散（セマンティック）ベクトル検索として機能します。インスタンスを開始すると、トラッカーに登録されます。インスタンスは、検索してネットワークに参加できます。オプションで、一般的なクロールデータセットにインデックスを付けてクエリに回答できます。

まだやるべき主なアイテム：

1. より良いエラー処理。コードにはまだ多くの.unwrap（）があります。
2. 誤動作または悪意のあるインスタンスに対する堅牢性。
3. パケット暗号化。
4. インデックス付きページをセマンティックにコンテンツに近いインスタンスに配布することにより、検索効率を向上させます。

必要なヘルプ！

DawnSearchは探しています：

1. dawnsearch.orgで検索を使用し、結果の使いやすさと品質についてフィードバックを提供する人々。
2. 錆のある人は、コードベースを見て、読みやすくなり、よりイデオマチックな錆のヒントを与えます。
3. メインおよび検索結果ページのデザインを作成するためのUI/UXデザイナー。
4. 「プロジェクトステータス」に記載されている問題のいくつかに取り組むことができる錆開発者
5. 独自のインスタンスを実行したい人。

質問やフィードバックについては問題を開いてください。機能やリファクタルなどの大きな何かを提供したい場合は、重複した作業を行わないように開始する前に問題を開きます。

クイックスタート

これにより、GPU加速なしで最近のUbuntuで「アクセスターミナル」DawnSearchインスタンスを構築および実行します。他の構成の例については、モードを参照してください。

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

次に、http：// localhost：8080にアクセスして、独自のDawnSearchインスタンスにアクセスします。検索を実行できますが、ネットワークにまだ貢献していません。モードを見て、どのようにできるかを確認してください。

GPUアクセラレーションにアップグレードする場合は、これを試してください。 CUDAをインストールする必要があります。

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

M1/M2 MACでは、「貨物設置」が機能しないことに注意してください。 「貨物ビルド」はそうです！

問題が発生した場合は、お気軽に問題を開いてください！

構成

dawnsearch.tomlまたはdawnsearch_index_ccなどの環境変数を介してdawnsearchを構成できます。

ドキュメント

進行中の作業！

• DawnSearch Architecture
• DawnSearchの構築に関する追加情報
• データ - DawnSearchによって保存されているデータの場所。
• DawnSearchモード - DawnSearchを実行できるさまざまな方法。
• Optmizing-プロファイリングと最適化。

参照してください

• Rustでセマンティック検索エンジンを構築する方法 - Rust -Bertでセマンティック検索を行う方法に関する優れたチュートリアル。