SpaghettiSearch

Spaghettisearch: одновременная поисковая система

Полностью функционирующая поисковая система, построенная на вершине Голанга, для удовлетворения требований HKUST COMP4321. Она строится с использованием Golang в качестве бэкэнда и реагирует в качестве своего фронта.

Живая демонстрация

http://spaghetti-search.herokuapp.com/

Функции

• Реализованный тематическое, чувствительное к теме PageRank (Th Haveliwala, 2003) с использованием запроса в качестве единственного данного контекста, а интерес пользователя в равной степени отражается на каждой теме.
• Комбинация модели PageRank и Vector Space, чтобы оценить результат
• Используемый текст якоря и метатаги, предложенные в бумаге Google, чтобы повысить точность и индекс гораздо больше веб -страниц
• Используйте генератор, будущее и вентиляционное параллелизм в Голанге, чтобы повысить производительность поиска
• Динамический резюме документа
• Используйте BadgerDB в качестве базы данных, которая оптимизировала для SSD
• Поддержка списка ключевых слов Поиск и поиск фразы (используйте двойные цитаты для поиска фразы)

Настройка и установка

Бэкэнд

• Установите Golang отсюда

$ sudo tar -C /usr/local -xzf go $VERSION . $OS - $ARCH .tar.gz
$ export PATH= $PATH :/usr/local/go/bin

• Загрузите это репо с помощью go get

 $ go get github.com/nwihardjo/SpaghettiSearch

Внешний интерфейс

• Установите узел и NPM отсюда
• Сборка была загружена. Не нужно устанавливать узел, чтобы получить этот запуск.

Зависимости

dep используется в качестве управления пакетом, чтобы убедиться, что установленные зависимости являются правильной версией от правильного поставщика. Запустите dep ensure что Project Root для установки необходимых пакетов или запустите go get ./... для той же вещи.

Здание

• Запустить make в каталоге Project Root. Он установит необходимые двоичные пакеты в bin/ каталог, а также установит DependEndcies
• Запустите гусеницу и укажите необходимый аргумент, как ниже, затем разверните сервер. Бэкэнд и React Server был интегрирован, так что необходимо было запустить только один сервер от Golang.

$ ./bin/start_crawl [-numPages =< number of pages to be crawled > ] [-startURL =< starting entry point for the crawler to crawl>] [-domainOnly=<whether webpages to be crawled only in the domain of given starting URL)]
$ ./bin/server

• Отправляйтесь в свой браузер и перейдите в localhost:8080 . Сервер размещен на порту 8080 или проверьте вывод вашего терминала.

Участник

• Натаниэль Вихарджо
• Анжелика Косасих
• Петра Габриэла