Wunner

Wunner

Un motor de búsqueda de juguetes que busca la web dentro de su terminal: P

Características

• Implementado en C ++ 14.
• Páginas web de rastreo a partir de la (s) URL (s) de semillas.
• Analiza los documentos y la consulta, tratando de generar resultados más apropiados.
• Construye un índice (mapa hash) para los documentos analizados.
• Los documentos y el índice rastreados se actualizan periódicamente.
• La consulta de autocompletos usando un trie, basado en consultas más recientemente solicitadas.
• Mantiene dos hilos, para permitir actualizar el índice y consultar simultáneamente.
• Genera los resultados más relevantes en orden clasificado sobre la base de la media armónica de PageRank (para obtener la importancia de la página web) y los rangos de algoritmo Okapi BM25 (para obtener resultados basados ​​en la consulta).
• Proporciona sugerencias de consulta (solo cuando la consulta de entrada no genera ningún resultado), sobre la base de palabras incorrectas y correctas comunes. Los clasifica utilizando el algoritmo N-Gram y la DP de edición de edición de distancia para comparar dos cadenas.

Pasos para correr

Comando para ejecutar: wunner_search (asegúrese de que su PWD sea el directorio raíz del proyecto)
Agregue la opción -f o --fresh como en wunner_search -f para iniciar el motor de búsqueda de nuevo (es decir, rastrear e indexar nuevamente)

• Después de completar la indexación, simplemente escriba su consulta y presione Enter para comenzar a buscar
• Para usar autocompletar, presione Ctrl+G mientras escribe la consulta y luego escriba el número de resultado deseado para completar la consulta (no es de relevancia hasta que se desarrolle una interfaz de usuario web)

Pasos para construir

1. Clone ( git clone https://github.com/Anishka0107/Wunner.git ) o ​​descargue este repositorio
2. cd Wunner de donde fue clonado/descargado

Construir (probado en Linux)

• Requisitos: GCC (5.0 y superior) / Clang (3.4 y arriba), Boost, WGet

3. Dos opciones:
   1. Requiere ar :
      1. Ejecutar chmod +x wunner_build.sh
      2. Ejecutar ./wunner_build.sh (tenga en cuenta que este valor predeterminado al compilador g ++; append compiler nombre para usar otro, por ejemplo: ./wunner_build.sh clang++ )
   2. Requiere cmake y make :
      1. Ejecute mkdir -p build && cd build && cmake .. && make -j$(nproc)
4. En última instancia, ejecute wunner_search (ya sea directamente ./build/bin/wunner_search o do export PATH=$PATH:${PWD}/build/bin antes)

Basado en Docker (para Linux/Windows/OS-X)

3. Configure Docker en su sistema (necesita privilegios raíz para los comandos Docker)
4. Construya la imagen usando docker build -t wunner .
5. Ejecutar usando docker run -v ${PWD}:/tmp wunner wunner_search (append wunner_search opciones si es necesario)

Lista de verificación de TODO:

• Agregar pruebas simples main () para cada módulo
• Para el terminal, muestre las salidas apropiadas en cada paso
• Agregar colores embellecer la salida
• Opciones de línea de comando para archivos res
• Agregar soporte para consultas de correspondencia completa
• Agregar soporte para URL relativas en la página web
• Implementar interacción con robots.txt en Crawler
• Crear una interfaz de usuario web
• Base de datos en lugar de archivos para almacenar objetos
• Vinculación dinámica en la construcción

Recursos

• URLS de semillas de rastreador ->
• Palabras erróneas ->
• Lista de palabras de parada -> https://www.webconfs.com/stop-words.php