tlgs

TLGS - Búsqueda de Géminis totalmente legítima

Descripción general

TLGS es un motor de búsqueda para Gemini. Está un poco excesivo para lo que es actualmente y usa tecnología extraña. Y estoy orgulloso de eso. El código actual Basse es un poco desordenado: prometo limpiarlos. Las características/características principales son las siguientes:

• Usando el estado del arte C ++ 20
• Analizados e índices Contenido textual en Gemninispace
• Altamente concurrente y asincrónico
• Índice de tiendas en PostgreSQL
• Desarrollado para Linux. Pero debe trabajar en Windows, OpenBSD, Haikuos, MacOS, etc.
• Solo busque encabezados para archivos que no puede indexar para guardar la banda y el tiempo
• Maneja todo tipo de codificación fuente
• Análisis de enlaces utilizando el algoritmo de salsa

A partir de ahora, la indexación de sitios de noticias, RFCS, documentos se deshabilitan en su mayoría. Pero probablemente esté habilitado una vez que tenga la media y los recursos para escalar la configuración.

Usando este proyecto

Requisitos

• drogon
• nlohmann-json
• CLI11
• libfmt
• TBB
• xxhash
• iconv
• Postgresql

Construyendo y ejecutando el proyecto

Para construir el proyecto. Necesitará un compilador C ++ 20 capaz. Los siguientes compiladores deberían trabajar al escribir este readme

• GCC> = 11.2
• MSVC> = 16.25

Instale todas las dependencias. Y ejecute los comandos:

mkdir build
cd build
cmake ..
make -j

Creación y mantenimiento del índice

Para crear el índice inital:

1. Inicialice la base de datos ./tlgs/tlgs_ctl/tlgs_ctl ../tlgs/config.json populate_schema
2. Coloque las URL de semillas en seeds.text
3. En la carpeta de compilación, ejecute ./tlgs/crawler/tlgs_crawler -s seeds.text -c 4 ../tlgs/config.json

Ahora el rastreador comenzará a rastrear el Geminispace y al mismo tiempo actualizar los índices obsoletos (si los hay). Para actualizar un índice existente. Correr:

./tlgs/crawler/tlgs_crawler -c 2 ../tlgs/config.json
# -c is the maximum concurrent connections the crawler will make

Nota: El rastreador de TLGS es distribuible. Puede ejecutar múltiples instancias en paralelo. Pero algunas intenciones pueden abandonar temprano hacia el final o gatearse. Aunque no afecta el resultado de la rastreo.

Ejecutando la cápsula

openssl req -new -subj " /CN=my.host.name.space " -x509 -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -days 36500 -nodes -out cert.pem -keyout key.pem
cd tlgs/server
./tlgs_server ../../../tlgs/server_config.json

Vía Systemd

sudo systemctl start tlgs_server
sudo systemctl start tlgs_crawler

Configuración del servidor

La sección custom_config.tlgs en search_config.json (instalada en /etc/tlgs/server_config.json ) contiene confundencias para el servidor TLGS. Además de las opciones de configuración habituales de Drogon. Custom_Config cambia la propiedad de TLGS en sí. Las opciones compatibles actuales son:

ranking_algo

El algoritmo de clasificación TLGS usa para clasificar las páginas en el resultado de la búsqueda. La clasificación se combina con el puntaje de partido de texto para producir el rango de búsqueda final. Los valores compatibles actuales son hits y salsa . Referirse al algoritmo de clasificación de éxitos y salsa. El valor predeterminado es salsa si no se proporciona ningún valor.

La salsa funciona un poco más rápido que los golpes para grandes resultados de búsqueda. Tanto la literatura como la experiencia imperical sugieren que la salsa proporciona una mejor clasificación. Así cambiamos de golpes a salsa.

 "ranking_algo" : " salsa " 

Diádico

• Limpieza de código
  • Realmente necesito centralizar la lógica de rastreo
• Aleatorizar el orden de rastreo. Evite golpear una sola cápsula
  • Más o menos ... muestreando la tabla de páginas con bajo porcentaje y aumento más tarde
• Apoyar el análisis de la reducción
• Intente indexar sitios de noticias
• Optimizar aún más el rastreador
  • Verifica el hash antes de actualizar el índice
  • Peoper UTF-8 Manejo en detección de arte ASCII
  • Use un trie para la combinación de URL de la lista negra
• Análisis de enlaces utilizando salsa
• BM25 para la puntuación de texto
• Resultado de la búsqueda dedica
• Filtros de impulso
• Forma adecuada (?) Para migrar el esquema