OSSE

OSSE検索エンジン

過度にシンプルな検索エンジン - 検索エンジンをシンプルにする??
発音：「ああ、 "

目次

• なぜ？
• 使用法
• 特徴
• それがどのように機能するか
• ロードマップ
• 貢献
• ライセンス

？なぜ？

ただ楽しみのために！私は本当に錆を学びたかったので、検索エンジンがどのように機能するかに本当に興味があったとき、このプロジェクトよりも両方の目標を達成するより良い方法はありませんでした！

？使用法

このリポジトリは、OSSE検索エンジンを形成する独立したコンポーネントによって形成されるモノレポです。

依存関係のインストール

• with nix：

 $ nix develop

• さもないと：

好みの方法（お気に入りのパッケージマネージャーなど）を使用して貨物とトランクをインストールします。

ランニング

• クローラー

 $ cargo run --bin crawler

• インデクサー

 $ cargo run --bin indexer

• フロントエンド

 $ trunk serve frontend/index.html --open

すべてのコンポーネントが実行されたら、お気に入りのWebブラウザで127.0.0.1:8080に移動し、OSSEの使用を開始できます。

？特徴

• 完全に自己ホスト：OSSEは外部サービスを使用しません。必要なのは、「完全な」検索エンジンを持つために3つのコンポーネント（Indencer、Crawler＆Frontend）だけです。
• カスタムインデックスおよびランキングアルゴリズム：OSSEは、独自のオープンソースインデックスおよびランキングアルゴリズムを使用します。つまり、コードは第三者がレビュー可能で即興であり、技術的かつ道徳的に正しい機能性を確保します。
• ハッキング可能：OSSEは拡張性とモジュール性を念頭に置いて構築されているため、さまざまなコンポーネントを交換またはカスタマイズすることが完全に実行可能です。
• プライバシーを尊重する：OSSEが完全に独立している結果、メタデータはいかなるサービスにも送信されません。

それがどのように機能するか

OSSE検索エンジンは、3つの独立したコンポーネントに分けられます。

• インデクサー

このコンポーネントは、実際の検索エンジンインデクサーの実装と、インデックス付きリソースの検索と追加に使用されるREST APIの両方を提供します。 REST API（ポート4444で実行されている）にActix Webを使用します。実際のインデクサーデータ構造を実装するために、現在、ハッシュマップで実装された非常に単純な逆インデックスを使用しているため、インデックスされたリソースはすべて、インデックス担当者が再起動するたびに失われています。

• クローラー

このコンポーネントは、クロールされた生のHTMLをインデクサーに転送する単純な再帰クローラーです。 Reqwestを使用して、ルートWebサイトの事前定義されたリストを取得し、スクレーパーでそれらを解析し、Webサイトのコンテンツをインデクサーに送信し、すべてのリンクを抽出し、それらをrawl落されるWebサイトのキューに追加します。このプロセスは、無期限に「再帰的に」繰り返されます。

• フロントエンド

このコンポーネントは、インデクサーへのシンプルなWebインターフェイスです。ユーザーは、結果をユーザーフレンドリーな方法で検索および視覚化できます。現在、Yewを使用して構築されています。これにより、フロントエンドをRustで書き込み、WASMベースのWeb-UIを「ぼやけて速い」WASMベースのWeb-UIを作成できます。

？ロードマップ

• フロントエンドを追加します
• 逆インデックスの代わりにNGRAMインデックスを使用するようにインデクサーを変更する
• フロントエンドを改善します
• インデクサーがクローラーから情報を受け取っているときに検索の応答性を向上させる
• 錆のクリーンアップ
• ページランキングアルゴリズムを改善します

貢献

「アイデアやパッチがある場合は、OSSEに貢献することをheしないでください！」

ライセンス

このソフトウェアは、BSD-2-Clauseの下でライセンスされています©Baitinq。