neos

Неосновно

Высокоэффективная веб -поисковая система.

Почему новая поисковая система?

Очевидно, что есть так много поисковых систем. И они отлично справляются. Но есть некоторые проблемы с ними.

Google отличный, но это не открытый исходный код. Кроме того, некоторые люди обеспокоены конфиденциальностью, и некоторые люди обеспокоены монополией Google. Кроме того, ясно, что многие поисковые системы получают прибыль от рекламы, что может повлиять на результаты поиска.

Метазарные двигатели, такие как Searxng, слишком сильно полагаются на другие поисковые системы.

Поисковые системы, основанные на тряпке, могут изменить ситуацию, но не все компании могут позволить себе использовать LLMS из-за высокой стоимости графических процессоров.

Вот почему я трачу свое время на создание новой классической поисковой системы.

Инструкции

1. Установите среду:

python3 -m venv .venv
source .venv/bin/activate

python3 scripts/setup.py
# to build ML mode:
python3 scripts/setup.py --ml

TODO: нужно документировать установку Crawler

2. Запустить серверы:

 # API server
cargo run api configs/api.toml

# search server
cargo run search-server configs/search_server.toml

# entity server
cargo run entity-search-server configs/entity_search_server.toml

# webgraph
cargo run webgraph server configs/webgraph/host_server.toml " && cargo run webgraph server configs/webgraph/page_server.toml 

Тодо

• Спрызнуть данные из Интернета
  • запустить гусеница с помощью URL
• Увеличьте индексатор для более быстрой индексации
• Обновить алгоритмы ранжирования, докажите эффективность
• Нужен веб -интерфейс
  • Поиск страницы
  • Страница поиска сущности

Ссылки

• Тантив
• строка