dawnsearch

Dawnsearch

DawnSearch - это распределенная веб -система с открытым исходным кодом, которая ищет смысл. Он использует семантический поиск (поиск по значению), используя All-Minilm-L6-V2. Он использует Usearch для векторного поиска. Это может индексировать общие данные для сканирования. Dawnsearch написан в ржавчине.

Общественный экземпляр доступен на Dawnsearch.org.

Статус проекта

DawnSearch в настоящее время функционирует как распределенный (семантический) векторный поиск. Когда вы запустите экземпляр, он зарегистрируется в трекере. Затем экземпляр может участвовать в сети путем поиска. Необязательно, он может индексировать общий набор данных Crawl и ответить на запросы.

Основные предметы еще предстоит сделать:

1. Лучшая обработка ошибок. В коде все еще много .unwrap ().
2. Надежность против неисправных или злонамеренных случаев.
3. Шифрование пакетов.
4. Повышение эффективности поиска путем распределения индексированных страниц на экземпляры, которые семантически близки к контенту.

Помогите!

Dawnsearch ищет:

1. Люди используют поиск на dawnsearch.org и дать отзыв о использовании и качестве результатов.
2. Люди с Rust Experience, чтобы взглянуть на кодовую базу и дать советы о том, чтобы облегчить чтение и более идеоматическую ржавчину.
3. Дизайнер пользовательского интерфейса/UX для создания проектов для основных страниц и результатов поиска.
4. Разработчики Rust, которые могут решить некоторые проблемы, упомянутые в разделе «Статус проекта»
5. Люди, которые хотят управлять своим собственным примером.

Пожалуйста, откройте проблемы для любых вопросов или обратной связи. Если вы хотите внести что -то большое, например, функция или рефактор, откройте проблему, прежде чем начать, чтобы вы не выполняли дубликацию работы!

Быстрый старт

Это построит и запустит экземпляр DawnSearch «доступа» на недавнем Ubuntu, без ускорения графического процессора. См. Режимы для примеров других конфигураций.

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

Теперь перейдите по адресу http: // localhost: 8080, чтобы получить доступ к вашему собственному экземпляру Dawnsearch. Вы сможете выполнять поиск, но вы еще не будете вносить свой вклад в сеть. Взгляните на режимы, чтобы увидеть, как вы можете это сделать.

Если вы хотите перейти на ускорение GPU, попробуйте это. Вам нужно установить CUDA:

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

Обратите внимание, что на M1/M2 Mac, «Margo Install» не работает. «Грузовая сборка», хотя!

Не стесняйтесь открывать проблему, если вы столкнетесь с проблемами!

Конфигурация

Вы можете настроить DawnSearch через DawnSearch.toml или через переменные среды, такие как Dawnsearch_index_cc.

Документация

Работа в процессе!

• Dawnsearch Architecture
• Дополнительная информация о строительстве DawnSearch
• Данные - Расположение данных, хранящихся Dawnsearch.
• Режимы Dawnsearch - различные способы запуска DawnSearch.
• Optmizing - Профилирование и оптимизация.

Смотрите также

• Как построить семантическую поисковую систему в Rust - Отличный учебник о том, как выполнить семантический поиск с Rust -Bert.