Verdant_Search
1.0.0
Actuellement, afin de considérer la charge du backend, le backend du moteur de recherche a été changé en ballon
Cependant, sa structure de stockage temporaire Cubeql utilise Fastapi
Site officiel: http://115.29.198.35 Courriel de l'auteur: [email protected]
Une structure de stockage temporaire pour la recherche à roues, implémentant des fonctions de type redis, et peut également filtrer les URL de robot via le module de filtre Bloom et l'utiliser comme déduplication
L'optimisation de la vitesse est attendue à l'aide de vlang
Optimiser le problème de 404 Inclusion toujours dans StatusCode rampant par des robots distribués, ce qui augmente les résultats de la recherche Tri et augmentation du poids (Redirection)
Mozilla / 5.0 (compatible; verdantspider / 1.0)
Ajouter une fonction de mise à jour dynamique du moteur de recherche nécessaire (fait)
Implémentez la recherche floue en chinois-> pinyin (besoin de créer une nouvelle table de mappage)
Implémentez le stockage de la base de données fendue
Convertir en postgresql (fait)
Statistiques Les détails de chaque recherche pour un résumé facile (fait)
Ajouter des verrous distribués implémentés par cubeql
Implémentez les mots de recherche à enregistrer dans le cloud, et le serveur ne nécessite pas plusieurs rampes
Implémentez l'audio après avoir cliqué sur l'icône de volume
Implémentez Vlang au lieu de la plupart des fonctions Python et optimisez les performances
Réaliser des points chauds de recherche quotidienne
Implémenter un résumé intelligent de divers moteurs de recherche
Utilisez des conteneurs pour gérer l'environnement pour réaliser un déploiement en un clic et une opération en un clic
Les cycles de vie pour chaque indice unique de la recherche, et le poids sera réduit après un certain temps (de nouveaux programmes sont tenus de maintenir) (terminé)
Implémentez Simhash et implémentez la déduplication des sites Web de blogs tels que CSDN
Prend en charge la recherche diversifiée et les filtres plus conviviaux
La version de référence PostgreSQL est 11.10
Python> = 3,6
ballon
fastapi == 0,54.1
psycopg2
starlette
requêtes_html
jieba
démo
BloomFilter_Live
gevent
├fiques.vscode
├ - docs
Resources
│ ├fique
│ ├fiquesql
│ └─__Pycache__
│ ├fique
araignée
│ └─__Pycache __ │ ├fique
│ │ ├─CSS
│ │ ├─Img
│ └ - Music
│ ├─Templates
│ └─__Pycache __
└─SQL
Docs: Stockage régulièrement des documents
Ressources: répertoire de stockage de code source
Config: le répertoire alternatif pour le fichier de configuration JSON (vraiment appelé dans le répertoire racine, et l'optimisation de la structure du répertoire n'a pas encore été terminée
CubeQL: un répertoire qui stocke le code source lié à Cubeql
Araignée: répertoire pour stocker des robots
LIB: Exigences du magasin
statique: stocker des fichiers statiques
Modèles: stocker des fichiers de modèles
SQL: stocker des fichiers SQL de création de table alternative
backend.py - fichier backend du moteur de recherche
config.json - Fichier de configuration, seul le fichier JSON dans le répertoire racine où le code est en cours d'exécution prend effet
Peut-être qu'il y a des bibliothèques dans l'environnement qui ne sont pas mentionnées, mais de toute façon, qu'y a-t-il à installer
Modifiez le mot de passe du compte de la base de données et la propriété intellectuelle de config.json
Assurez-vous que PostgreSQL est ouvert
Exécuter dans le répertoire Cubeql
Uvicorn Cubeql: App --port 1278
Exécuter dans Resources Directory
python backend.py
Exécutez-le dans le répertoire Spider (vous pouvez ouvrir la recherche verte si vous ne l'exécutez pas)
Python CDS-Distributed.py
En accédant / tendance, vous pouvez compter la fréquence de recherche de tous les mots clés
La rédaction d'un système de plug-in est assez simple.
Créez ensuite un nouvel index.html et package.json dans le dossier d'extensions.
package.json
