mini searcher

Мини-поиск по сайту

Mini Site Searcher — это простой индексатор и поисковая система сайта, которая автоматически сканирует и кэширует содержимое вашего веб-сайта, а также предоставляет функции поиска через REST API.

Его можно использовать для обеспечения функции поиска в блогах статических сайтов или для создания доступной для поиска базы личных знаний...

Как использовать

Во-первых, вам нужно создать файл .env , чтобы описать, как вы хотите настроить искатель.

Например, в следующей конфигурации мы хотим настроить индексатор для веб-сайта https://my.blog , сканер начнет просматривать страницу https://my.blog/index.html и найдет все ссылка, URL-адрес которой имеет /posts , поэтому селектором CSS для нее должен быть a[href*=/posts] . И при переходе по каждой ссылке сканер получит текстовое содержимое любых тегов <article class="main-content"> .

 BASE_URL="https://my.blog"
ENTRY_POINT="https://my.blog/index.html"
LINK_SEARCH_PATTERN="a[href*='/posts']"
MAIN_CONTENT_PATTERN="article.main-content"

Затем запустите сервер:

 cargo run

После запуска сканер запустится, и завершение индексации может занять некоторое время. REST API также будет обслуживаться через порт по умолчанию 3366 или любой другой порт в вашей переменной среды PORT . Для поиска сделайте запрос GET следующим образом:

 GET /?keyword=<something>

Как это работает?

Программа состоит из двух компонентов:

• Рабочий индекс: рабочий поток, который запускается каждые 1 час (должен быть настроен) для сканирования целевого сайта, перехода по всем совпавшим ссылкам и извлечения их содержимого, сохранения их в виде таблицы в памяти сервера.
• REST API: предоставлена ​​конечная точка API, которую вы можете использовать для запроса получения всего соответствующего контента.

Сделать

• Настраиваемый интервал сканирования
• Поддержка нескольких сайтов
• Внедрить ограничитель скорости для сканера
• Отказ от использования RwLock