dawnsearch

DawnSearch

DawnSearch é um mecanismo de pesquisa da web distribuído de código aberto que pesquisa por significado. Ele usa pesquisa semântica (pesquisando no significado), usando o minilm-l6-v2. Ele usa pesquisa de pesquisa para pesquisa vetorial. Ele pode indexar os dados de rastreamento comum. DawnSearch está escrito em ferrugem.

Uma instância pública está disponível em DawnSearch.org.

Status do projeto

Atualmente, o DawnSearch funciona como uma pesquisa de vetor distribuída (semântica). Quando você inicia uma instância, ela se registra no rastreador. A instância pode então participar da rede pesquisando. Opcionalmente, ele pode indexar o conjunto de dados de rastreamento comum e responder consultas.

Itens principais ainda a fazer:

1. Melhor manuseio de erros. Ainda há muitos .UnWrap () no código.
2. Robustez contra casos com defeito ou maliciosos.
3. Criptografia de pacotes.
4. Aumente a eficiência da pesquisa distribuindo páginas indexadas para instâncias que estão semanticamente próximas ao conteúdo.

Ajuda necessária!

DawnSearch está procurando:

1. As pessoas para usar a pesquisa no DawnSearch.org e dão feedback sobre a usabilidade e a qualidade dos resultados.
2. Pessoas com experiência em ferrugem para dar uma olhada na base de código e dão dicas sobre como facilitar a leitura e mais a ferrugem ideomática.
3. Um designer de UI/UX para criar designs para as páginas de resultados principais e de pesquisa.
4. Desenvolvedores de ferrugem que podem abordar alguns dos problemas mencionados em 'Status do projeto'
5. Pessoas que querem administrar sua própria instância.

Abra problemas para qualquer dúvida ou feedback. Se você deseja contribuir com algo grande, como um recurso ou um refattor, abra um problema antes de iniciar para que você não faça um trabalho duplicado!

Início rápido

Isso criará e executará uma instância de 'terminal de acesso' em um recente Ubuntu, sem aceleração da GPU. Veja os modos para exemplos de outras configurações.

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

Agora, vá para http: // localhost: 8080 para acessar sua própria instância do DawnSearch. Você poderá executar pesquisas, mas ainda não contribuirá para a rede. Dê uma olhada nos modos para ver como você pode fazer isso.

Se você deseja atualizar para a aceleração da GPU, tente isso. Você precisa ter o CUDA instalado:

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

Observe que em um M1/M2 Mac, 'Cargo Install' não funciona. 'Cargo Build' faz!

Sinta -se à vontade para abrir um problema se encontrar problemas!

Configuração

Você pode configurar o DawnSearch através do DawnSearch.toml ou através de variáveis ​​de ambiente como DawnSearch_Index_CC.

Documentação

Trabalhe em andamento!

• Arquitetura DawnSearch
• Informações adicionais sobre o Buildling DawnSearch
• Dados - Localização dos dados armazenados pelo DawnSearch.
• Modos DawnSearch - As diferentes maneiras pelas quais você pode executar o DawnSearch.
• OptMize - perfil e otimização.

Veja também

• Como construir um mecanismo de busca semântico em Rust - Excelente tutorial sobre como fazer pesquisa semântica com Rust -Bert.