SpaghettiSearch

Spaghettisearch：同時検索エンジン

Golangの上に構築された完全に機能する検索エンジンは、HKUST COMP4321要件を満たすために、Golangを使用してバックエンドとして構築され、フロントエンドとして反応します。

ライブデモ

http://spaghetti-search.herokuapp.com/

特徴

• クエリを唯一のコンテキストとして使用して、トピックに敏感なPagerank（Th Haveliwala、2003）を実装しました。ユーザーの関心は、すべてのトピックに等しく反映されています。
• 結果をランク付けするためのページランクとベクトル空間モデルの組み合わせ
• Googleの論文で提案されたアンカーテキストとメタタグを使用して、精度を高め、より多くのWebページをインデックスする
• Golangのジェネレーター、将来、ファンアウトの並行性パターンを使用して、検索パフォーマンスを向上させる
• 動的ドキュメントの概要検索
• SSD用に最適化されたデータベースとしてBadgerDBを使用します
• キーワードリストの検索とフレーズ検索をサポートします（フレーズ検索に二重引用符を使用してください）

セットアップとインストール

バックエンド

• ここからGolangをインストールします

$ sudo tar -C /usr/local -xzf go $VERSION . $OS - $ARCH .tar.gz
$ export PATH= $PATH :/usr/local/go/bin

• go get使用してこのレポをダウンロードします

 $ go get github.com/nwihardjo/SpaghettiSearch

フロントエンド

• ここからノードとNPMをインストールします
• ビルドがアップロードされました。これを実行するためにノードをインストールする必要はありません。

依存関係

dep 、インストールされている依存関係が正しいベンダーの正しいバージョンであることを確認するために、パッケージ管理として使用されます。 Project Rootで必要なパッケージをインストールするか、 go get ./...実行しdep ensure 。/...を実行します。

建物

• プロジェクトルートディレクトリでmakeます。必要なバイナリパッケージをbin/ディレクトリにインストールし、DependCiesをインストールします
• クローラーを実行し、以下のように必要な引数を指定し、サーバーをスピンアップします。バックエンドとReactサーバーは統合されているため、Golangによる1つのサーバーのみを開始する必要がありました。

$ ./bin/start_crawl [-numPages =< number of pages to be crawled > ] [-startURL =< starting entry point for the crawler to crawl>] [-domainOnly=<whether webpages to be crawled only in the domain of given starting URL)]
$ ./bin/server

• ブラウザに向かい、 localhost:8080にアクセスしてください。サーバーはポート8080でホストされているか、端末の出力を確認してください。

貢献者

• ナサニエル・ウィハルドジョ
• アンジェリカ・コサシ
• ペトラ・ガブリエラ