Wunner

Вуннер

Поисковая система игрушек, которая ищет Интернет внутри вашего терминала: P

Функции

• Реализовано в C ++ 14.
• Спрыстные веб -страницы постепенно, начиная с URL -адреса семян.
• Подготовка документов и запроса, пытаясь получить более подходящие результаты.
• Создает индекс (хэш -карту) для проанализированных документов.
• Пополненные документы и индекс периодически обновляются.
• AutoCOMPLETES запрос с использованием TRIE, основанный на последних задаваемых запросах.
• Поддерживает две потоки, чтобы обновить индекс и запросы одновременно.
• Генерирует наиболее актуальные результаты в порядке, посвященном гармоническому среднему значению PageRank (чтобы получить важность веб-страницы) и okapi BM25 (для получения результатов на основе запросов).
• Предоставляет предложения запросов (только тогда, когда входной запрос не генерирует никаких результатов), на основе общих неправильных и правильных слов. Оценивает их с помощью алгоритма N-GRA и DP Edit-Distance, чтобы сравнить две строки.

Шаги для запуска

Команда для запуска: wunner_search (убедитесь, что ваш PWD является корневым каталогом проекта)
Добавить опцию -f или --fresh как в wunner_search -f чтобы запустить поисковую систему заново (т.е. снова ползание и индексация)

• После завершения индексации просто введите свой запрос и нажмите Enter , чтобы начать поиск
• Чтобы использовать автозаполнение, нажмите Ctrl+G при наборах запроса, а затем введите нужный номер результата, чтобы завершить запрос (он не имеет отношения до тех пор, пока не будет разработан веб -интерфейс)

Шаги по строительству

1. Клон ( git clone https://github.com/Anishka0107/Wunner.git ) или скачать этот репозиторий
2. cd Wunner , откуда он был клонирован/загружен

Сборка (протестирован на Linux)

• Требования: GCC (5,0 и выше) / Clang (3,4 и выше), Boost, Wget

3. Два варианта:
   1. Требуется ar :
      1. Запустить chmod +x wunner_build.sh
      2. Запустите ./wunner_build.sh (обратите внимание, что это по умолчанию в компилятор G ++; приложение имя компилятора для использования другого, например: ./wunner_build.sh clang++ )
   2. Требуется cmake и make :
      1. Запустить mkdir -p build && cd build && cmake .. && make -j$(nproc)
4. В конечном счете запустите wunner_search (либо напрямую ./build/bin/wunner_search или do export PATH=$PATH:${PWD}/build/bin раньше)

Docker на основе (для Linux/Windows/OS-X)

3. Настройка Docker на вашей системе (нужны привилегированные корневые привилегии для команд Docker)
4. Создайте изображение, используя docker build -t wunner .
5. Запустить с помощью docker run -v ${PWD}:/tmp wunner wunner_search (добавление параметров wunner_search, если это необходимо)

Контрольный список TODO:

• Добавить простые тесты main () для каждого модуля
• Для на основе терминала показать соответствующие выходы на каждом этапе
• Добавить цвета украсить выход
• Параметры командной строки для файлов res
• Добавьте поддержку для полных соответствующих запросов
• Добавьте поддержку относительных URL -адресов на веб -странице
• Реализовать взаимодействие с robots.txt в Crawler
• Создайте веб -интерфейс
• База данных вместо файлов для хранения объектов
• Динамическое связывание в сборке

Ресурсы

• URL -адреса семян гусеницы ->
• Ошибочные слова ->
• СПИСОК СТОИМОСТИ СЛОВ -> https://www.webconfs.com/stop-words.php