dawnsearch

Dawnsearch

Dawnsearch es un motor de búsqueda web distribuido de código abierto que busca por significado. Utiliza la búsqueda semántica (búsqueda en el significado), utilizando All-Minilm-L6-V2. Utiliza USEARCH para la búsqueda de vectores. Puede indexar los datos de rastreo comunes. Dawnsearch está escrito en Rust.

Una instancia pública está disponible en Dawnsearch.org.

Estado del proyecto

Dawnsearch actualmente funciona como una búsqueda vectorial distribuida (semántica). Cuando comience una instancia, se registrará con el rastreador. La instancia puede participar en la red buscando. Opcionalmente, puede indexar el conjunto de datos de rastreo común y las consultas de respuesta.

Los artículos principales aún por hacer:

1. Mejor manejo de errores. Todavía hay mucho .unwrap () en el código.
2. Robustez contra mal funcionamiento o instancias maliciosas.
3. Cifrado de paquetes.
4. Aumente la eficiencia de búsqueda distribuyendo páginas indexadas a instancias que estén semánticamente cerca del contenido.

¡Se necesita ayuda!

Dawnsearch está buscando:

1. Las personas usan la búsqueda en Dawnsearch.org y dar retroalimentación sobre la uso y la calidad de los resultados.
2. Las personas con experiencia en óxido para echar un vistazo a la base de código y dar consejos para facilitar la lectura y más óxido ideomático.
3. Un diseñador UI/UX para crear diseños para las páginas principales y de resultados de búsqueda.
4. Desarrolladores de óxido que pueden abordar algunos de los problemas mencionados en el 'estado del proyecto'
5. Personas que quieren ejecutar su propia instancia.

Abra problemas para cualquier pregunta o retroalimentación. Si desea contribuir con algo grande, como una función o un refactor, ¡abra un problema antes de comenzar para que no haga trabajo duplicado!

Comienzo rápido

This will build and run an 'access terminal' DawnSearch instance on a recent Ubuntu, without GPU acceleration. Consulte los modos para ver ejemplos de otras configuraciones.

 sudo apt-get update && sudo apt-get install -y build-essential pkg-config

# Install rust if you don't have it already:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

mv DawnSearch.toml.example DawnSearch.toml
RUSTFLAGS='-C target-cpu=native'  cargo run --release

Ahora, vaya a http: // localhost: 8080 para acceder a su propia instancia de Dawnsearch. Podrá realizar búsquedas, pero aún no contribuirá a la red. Eche un vistazo a los modos para ver cómo puede hacerlo.

Si desea actualizar a la aceleración de GPU, pruebe esto. Necesita tener instalado CUDA:

 RUSTFLAGS='-C target-cpu=native'  cargo run --release --features cuda

Tenga en cuenta que en un Mac M1/M2, 'Instalación de carga' no funciona. ¡Sin embargo, la "construcción de carga" sí!

¡No dude en abrir un problema si encuentra problemas!

Configuración

Puede configurar Dawnsearch a través de Dawnsearch.toml o a través de variables de entorno como Dawnsearch_index_CC.

Documentación

¡Trabajo en progreso!

• Arquitectura Dawnsearch
• Información adicional sobre Builtling Dawnsearch
• Datos: ubicación de los datos almacenados por Dawnsearch.
• Modos Dawnsearch: las diferentes formas en que puede ejecutar Dawnsearch.
• Optmizing - Perfil y optimización.

Ver también

• Cómo construir un motor de búsqueda semántico en Rust - Excelente tutorial sobre cómo hacer una búsqueda semántica con Rust -Bert.