tlgs

TLGS - Recherche de gemini totalement légitime

Aperçu

TLGS est un moteur de recherche pour Gemini. Il est légèrement exagéré pour ce qu'il est actuellement et utilise une technologie étrange. Et j'en suis fier. La base de code actuelle est un peu désordonnée - je promets de les nettoyer. Les principales caractéristiques / caractéristiques sont les suivantes:

• Utilisation de l'état de l'art C ++ 20
• Parses et index du contenu textuel sur Geminispace
• Très concurrent et asynchrone
• Index des magasins sur PostgreSQL
• Développé pour Linux. Mais devrait fonctionner sur Windows, OpenBSD, haikuos, macOS, etc.
• Remplissez uniquement les en-têtes pour les fichiers qu'il ne peut pas indexer pour enregistrer la bande et le temps
• Gère toutes sortes d'encodage source
• Analyse des liens utilisant l'algorithme de salsa

À l'heure actuelle, l'indexation des sites d'actualités, des RFC, les documentations sont principalement désactivées. Mais être probablement activé une fois que j'ai la moyenne et les ressources pour mettre à l'échelle la configuration.

En utilisant ce projet

Exigences

• drogon
• nlohmann-json
• CLI11
• libfmt
• TBB
• xxhash
• iconve
• Postgresql

Construire et gérer le projet

Pour construire le projet. Vous aurez besoin d'un compilateur capable entièrement C ++ 20. Les compilateurs suivants devraient travailler à partir de la rédaction de ce réadme

• Gcc> = 11.2
• Msvc> = 16,25

Installez toutes les dépendances. Et exécutez les commandes:

mkdir build
cd build
cmake ..
make -j

Créer et maintenir l'index

Pour créer l'index initale:

1. Initialisez la base de données ./tlgs/tlgs_ctl/tlgs_ctl ../tlgs/config.json populate_schema
2. Placer les URL de graines dans seeds.text
3. Dans le dossier Build, exécutez ./tlgs/crawler/tlgs_crawler -s seeds.text -c 4 ../tlgs/config.json

Désormais, le Crawler commencera à ramper le Geminispace tout en mettant à jour les indices obsolètes (le cas échéant). Pour mettre à jour un index existant. Courir:

./tlgs/crawler/tlgs_crawler -c 2 ../tlgs/config.json
# -c is the maximum concurrent connections the crawler will make

Remarque: le robot de TLGS est distribuable. Vous pouvez exécuter plusieurs instances en parallèle. Mais certaines entrées peuvent abandonner tôt vers la fin ou ramper. Bien que cela n'effecte pas le résultat de la rampe.

Exécuter la capsule

openssl req -new -subj " /CN=my.host.name.space " -x509 -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -days 36500 -nodes -out cert.pem -keyout key.pem
cd tlgs/server
./tlgs_server ../../../tlgs/server_config.json

Via systemd

sudo systemctl start tlgs_server
sudo systemctl start tlgs_crawler

Configuration du serveur

La section custom_config.tlgs dans search_config.json (installé sur /etc/tlgs/server_config.json ) contient des conflitions pour le serveur TLGS. Outre les options de configuration de Drogon habituelles. Custom_config modifie la propriété de TLGS elle-même. Les options prises en charge actuelles sont:

classement_algo

L'algorithme de classement TLGS utilise pour classer les pages dans le résultat de la recherche. Le classement est ensuite combiné avec le score de match de texte pour produire le rang de recherche final. Les valeurs prises en charge actuelles sont hits et salsa . Se référant à l'algorithme de classement des succès et de la salsa. Il est par défaut à salsa si aucune valeur n'est fournie.

La salsa fonctionne légèrement plus rapidement que les succès pour les grands résultats de recherche. La littérature et l'expérience impérique suggèrent que la salsa offre un meilleur classement. Ainsi, nous sommes passés des tubes à la salsa.

 "ranking_algo" : " salsa " 

Todos

• Nettoyage du code
  • J'ai vraiment besoin de centraliser la logique rampante
• Randomiser l'ordre de ramper. Évitez de frapper une seule capsule
  • Sorte de .. en échantillonnant le tableau des pages avec un faible pourcentage et augmenter plus tard
• Support d'analyse de l'analyse
• Essayez d'indexation des sites d'actualités
• Optimiser encore plus le robot
  • Vérifie le hachage avant de mettre à jour l'index
  • Gestion des personnes UTF-8 dans la détection de l'art ASCII
  • Utilisez un match URL Trie pour la liste noire
• Analyse des liens utilisant la salsa
• BM25 pour la notation du texte
• Résultat de recherche DeDeuplicate
• Filtres d'impression
• Propre (?) Façon de migrer le schéma