Verdant_Search

grüner Suche

Um die Last des Backends zu berücksichtigen, wurde das Backend der Suchmaschine in Flask geändert
Die temporäre Speicherstruktur CUbeQL verwendet jedoch Fastapi
Offizielle Website: http://115.29.198.35 Autor E -Mail: [email protected]

Schlüsselfunktion

• Suchmaschinen suchen automatisch nach fehlenden Suchergebnissen für Datenbank von anderen Suchmaschinen und aktualisieren sie automatisch.
• Insbesondere im Zusammenhang mit Yodao Dictionary ist es bequemer, Wörter zu durchsuchen
• Es gibt keine Anzeigen für die Suche, und die Schnittstelle ist einfacher
• Keine Trace -Suche generiert keine Big Data, um die Reife abzutöten
• Die Desimilation von Blogseiten wie CSDN wurde erreicht, was die Suchffizienz verbessert hat (kommen)
• Das Plug-in-System wird in Kürze gestartet
• Unterstützen Sie Echtzeit Online-Feedback zu Fehler und Vorschlägen
• Distributed Crawler + selbst implementierte temporäre Datenbank (CHOBEQL)

Ausführen von Screenshot

Cubeql

Eine temporäre Speicherstruktur für die Suche nach Erröten, die Implementierung von Redis-ähnlichen Funktionen und kann auch Crawler-URLs über das Bloom-Filtermodul filtern und als Deduplizierung verwenden

Die Geschwindigkeitsoptimierung wird mit VLANG erwartet

0.1.1 Aktualisierungsstufe

1. Erkennen Sie die dynamische Sortierung von Webseiten für Keywords in der Datenbank
2. Ändern Sie das Backend in Flask, und die anderen verwenden immer noch Fastapi

0.1.2 Update

Optimieren Sie das Problem von 404 noch Einbeziehung in den Statuscode -Crawling durch verteilte Crawler, wodurch die Sortierung und Gewichtszunahme der Suchergebnisse erhöht wird (Umleitung)

0.1.3 Update

• Kriechen Zusammenfassung anderer Suchmaschinen
• Einige Fehler behoben
• Implementieren Sie die Implementierung des Bloomfilter Bloomfilter, sodass die Filterung direkt von MySQL getrennt werden kann.
• Und einen Timer implementieren
• Selen wird für Crawler aus anderen Suchmaschinen verwendet

0.1.4 Aktualisiert 2020/01/30

• Crisp API fügte hinzu, um den Benutzern zu erleichtern, Kommentare einzureichen
• Implementierte die Übertragung von PostgreSQL (von MySQL)
• Ergebnis Crawler für Bing (nicht implementiert)
• Löste die vorherige Optimierung des Such -Assoziativ -Wortmechanismus, und nun wird die Anfrage gesendet, solange ein neues Zeichen eingegeben wird.
• Bekannte bekannte Fehler für Crawler und CHOBEQL

0.2 Aktualisiert 2020/02/27

• Für die Suchschlüsselwörter wurde ein Fehler für das Secondary Word Partizip gefunden
• Ich habe beim Kriechen einen Fehler im Datentyp PostgreSQL entdeckt
• Ein neuer Bing -Crawler für Keywords wurde hinzugefügt.
• Modifizierte einige logische Probleme des Crawler- und Suchmaschinenprogramms

0.2.1 Aktualisiert 2021/08/05

• Blasentrend (/Trend) hinzugefügt
• Die Regeln für die Crawler -Verarbeitung von Warteschlangen in Cubeql geändert
• Beheben bekannter Fehler

0.3.1 Aktualisiert 2021/09/29

• Das Erweiterungssystem wird freigegeben
• Ein neues Plugin hinzugefügt: Huyaoiblog
• Es wird erwartet, dass ein großer Teil des Updates in Zukunft mit Plug-Ins zusammenhängen wird

0.3.6 Aktualisiert 2021/12/15

• Viele Verzeichnisstrukturen wurden optimiert
• Viele Fehler behoben
• Und fügte die Funktion des Wortes täglich hinzu
• Es scheint, dass sich die Aufführung ein wenig verbessert hat

Benutzer-Agent

Mozilla/5.0 (kompatibel; Verdantspider/1.0)

Aufgabe

1. Fügen Sie einige notwendige Suchmaschinengewichtsfunktionen Dynamic Update hinzu (erledigt).

2. Implementieren Sie die Fuzzy-Suche nach Chinesen-> Pinyin (müssen eine neue Mapping-Tabelle erstellen)

3. Implementieren Sie Split -Datenbankspeicher

4. In postgresql (fertig) konvertieren

5. Statistiken Die Details jeder Suche nach einfacher Zusammenfassung (erledigt)

6. Fügen Sie verteilte Sperren hinzu, die von Cubeql implementiert sind

7. Implementieren Sie Suchwörter, die in der Cloud speichern können, und der Server benötigt nicht mehrere Crawlings

8. Implementieren Sie das Audio nach dem Klicken auf das Volumensymbol

9. Implementieren Sie Vlang anstelle der meisten Python -Funktionen und optimieren Sie die Leistung

10. Tägliche Such -Hotspots realisieren

11. Implementieren Sie intelligente Zusammenfassung verschiedener Suchmaschinen

12. Verwenden Sie Container, um die Umgebung zu verwalten, um eine Einsatz- und One-Click-Operation mit einem Klick zu realisieren

13. Lebenszyklen für jeden einzelnen Index der Suche und das Gewicht werden nach einer Weile reduziert (neue Programme sind erforderlich) (erledigt)

14. Implementieren Sie Simhash und implementieren Sie die Deduplizierung von Blog -Websites wie CSDN

15. Unterstützt eine diversifizierte Suche und benutzerfreundlichere Filter

PostgreSQL Reference -Version ist 11.10

Umfeld

Python> = 3,6

Flasche

fastapi == 0,54,1

psycopg2

Starlette

requests_html

Jieba

Demjson

BloomFilter_Live

Gevent

Probleme bei der Migration von PostgreSQL

1. PostgreSQL unterstützt nur einzelne Zitate, um Zeichenfolgen einzuschließen
2. Benutzername unterscheidet sich von MySQL
3. PostgreSQL hat ein Muster, aber Sie müssen nicht auf die SQL -Änderung achten, da es automatisch auf den öffentlichen Modus verweist.

---

Wie man benutzt

Verzeichnisstruktur

├─.VSCODE
├─docs
├─ Resources
│ ├─config
│ ├─Cubeql
│ └─__Pycache__
│ ├─lib
│ ├├spider
│ └─__Pycache __ │ ├ ├ ├ºStatic
│ │ ├─css
│ │ ├─img
│ └ºMusic
│ ├─ Templates
│ └─__Pycache __
└─sql

Dokumente: Speichern regelmäßig Dokumente

Ressourcen: Quellcode -Speicherverzeichnis

Konfiguration: Das alternative Verzeichnis für die Konfigurationsdatei JSON (im Stammverzeichnis wirklich aufgerufen und die Optimierung der Verzeichnisstruktur wurde noch nicht abgeschlossen

CHOBEQL: Ein Verzeichnis, in dem der CHOBEQL-bezogene Quellcode gespeichert ist

Spinnen: Verzeichnis für die Aufbewahrung von Crawlers

Lib: Speicheranforderungen

Statisch: Statische Dateien speichern

Vorlagen: Vorlagendateien speichern

SQL: Store Alternative Table Creation SQL -Dateien

Backend.py - Suchmaschinen -Backend -Datei

config.json - Konfigurationsdatei, nur die JSON -Datei im Stammverzeichnis, in dem der Code ausgeführt wird

Auslaufschritte

Vielleicht gibt es einige Bibliotheken in der Umgebung, die nicht erwähnt werden, aber was auch immer zu installieren sind

Ändern Sie das Datenbankkennwort und das IP von config.json

Stellen Sie sicher, dass Postgresql offen ist

Im Cubeql -Verzeichnis laufen

Uvicorn CHOMEQL: APP -PORT 1278

Im Ressourcenverzeichnis ausführen

Python Backend.py

Führen Sie es im Spider -Verzeichnis aus (Sie können die grüne Suche öffnen, wenn Sie sie nicht ausführen).

Python CDS-verteilt.py

Grüne Trends

Durch den Zugriff /Trend können Sie die Suchfrequenz aller Schlüsselwörter zählen

Plug-in-System

Das Schreiben eines Plug-in-Systems ist recht einfach.

Erstellen Sie dann einen neuen Index.html und Paket.json im Erweiterungsordner.

package.json