Wunner

ウンナー

端末内のWebを検索するおもちゃ検索エンジン：P

特徴

• C ++ 14に実装されています。
• シードURLから徐々にウェブページをクロールします。
• ドキュメントとクエリを解析し、より適切な結果を生成しようとします。
• 解析されたドキュメントのインデックス（ハッシュマップ）を構築します。
• クロールされたドキュメントとインデックスは定期的に更新されます。
• 最近の質問に基づいて、Trieを使用したAutoCompletesクエリ。
• インデックスを更新し、同時にクエリすることを可能にするために、2つのスレッドを維持します。
• Pagerank（Webページの重要性を得るため）とOkapi BM25（クエリベースの結果を取得するため）のアルゴリズムのランクに基づいてランク付けされた順に、最も関連性の高い結果を生成します。
• 一般的な誤った単語と正しい単語に基づいて、クエリの提案（入力クエリが結果を生成しない場合にのみ）を提供します。 n-gramアルゴリズムと編集型DPを使用して、2つの文字列を比較することをランク付けします。

実行する手順

実行するコマンド： wunner_search （PWDがプロジェクトのルートディレクトリであることを確認してください）
option -fまたは - wunner_search -fのように--freshを追加して、検索エンジンを新たに起動します（つまり、クロール、インデックス作成）

• インデックス作成が完了したら、クエリを入力してEnterを押して検索を開始するだけです
• AutoCompleteを使用するには、クエリを入力しながらCTRL+Gを押してから、目的の結果の番号を入力してクエリを完了します（Web UIが開発されるまで関連性がありません）

構築する手順

1. clone（ git clone https://github.com/Anishka0107/Wunner.git ）またはこのリポジトリをダウンロードする
2. クローン/ダウンロードされた場所からのcd Wunner

ビルド（Linuxでテスト）

• 要件：GCC（5.0以上） / Clang（3.4以上）、Boost、Wget

3. 2つのオプション：
   1. arが必要です：
      1. chmod +x wunner_build.shを実行します
      2. ./wunner_build.shを実行します（これがg ++コンパイラにデフォルト./wunner_build.sh clang++あることに注意してください。
   2. cmakeとmake必要とします：
      1. mkdir -p build && cd build && cmake .. && make -j$(nproc)を実行する
4. 最終的にwunner_searchを実行します（直接./build/bin/wunner_searchまたはdo export PATH=$PATH:${PWD}/build/bin ）

Dockerベース（Linux/Windows/OS-x用）

3. システムにDockerを設定します（Dockerコマンドのためにルートの特権が必要です）
4. docker build -t wunner .
5. docker run -v ${PWD}:/tmp wunner wunner_searchを使用して実行（必要に応じてwunner_searchオプションを追加）

TODOチェックリスト：

• 各モジュールのシンプルなメイン（）テストを追加します
• ターミナルベースの場合、各ステップで適切な出力を表示します
• 色を追加する出力を美化します
• resファイルのコマンドラインオプション
• 完全なマッチングクエリのサポートを追加します
• Webページに相対URLのサポートを追加します
• Crawlerでrobots.txtとの相互作用を実装します
• Web UIを構築します
• オブジェクトを保存するファイルの代わりにデータベース
• ビルドでの動的リンク

リソース

• クローラーシードURLS->
• 誤った言葉 - >
• 停止単語のリスト - > https：//www.webconfs.com/stop-words.php