Verdant_Search

búsqueda verde

Actualmente, para considerar la carga del backend, el backend del motor de búsqueda se ha cambiado a Flask
Sin embargo, su estructura de almacenamiento temporal Cubeql usa FastAPI
Sitio web oficial: http://115.29.198.35 Correo electrónico del autor: [email protected]

Característica clave

• Los motores de búsqueda buscarán automáticamente los resultados de búsqueda de bases de datos faltantes de otros motores de búsqueda y los actualizarán automáticamente.
• Directamente relacionado con el diccionario de Yodao, es más conveniente buscar palabras
• No hay anuncios para la búsqueda, y la interfaz es más simple
• Ninguna búsqueda de rastreo no generará grandes datos para matar maduro
• Se ha logrado la desimilación de páginas de blogs como CSDN, lo que ha mejorado la eficiencia de búsqueda (próximamente)
• El sistema enchufable se lanzará pronto
• Apoye los comentarios en línea en tiempo real sobre errores y sugerencias
• Crawler distribuido + base de datos temporal autoimplementada (Cubeql)

Ejecutando la captura de pantalla

Cubo

Una estructura de almacenamiento temporal para la búsqueda de rubor, implementar funciones similares a Redis y también puede filtrar URL de rastreadores a través del módulo de filtro Bloom, y usarlo como deduplicación

Se espera que la optimización de la velocidad use VLANG

0.1.1 Etapa de actualización

1. Realice la clasificación dinámica de páginas web para palabras clave en la base de datos
2. Cambie el backend a Flask, y los otros aún usan Fastapi

0.1.2 Actualización

Optimice el problema de 404 aún la inclusión en el rastreo de código de estado por rastreadores distribuidos, lo que aumenta la clasificación de la página web de los resultados de búsqueda y el aumento de peso (redirección)

0.1.3 Actualización

• Resumen de rastreo de otros motores de búsqueda
• Se solucionó algunos errores
• Implemente la implementación del BloomFilter BloomFilter, permitiendo que el filtrado se separe directamente de MySQL.
• E implementar un temporizador
• El selenio se usa para rastreadores de otros motores de búsqueda

0.1.4 Actualizado 2020/01/30

• Se agregó API CRISP para facilitar a los usuarios que envíen comentarios
• Implementó la transferencia de PostgreSQL (de MySQL)
• Se agregó el rastreador de resultados para Bing (no implementado)
• Resolvió la optimización anterior del mecanismo de palabras asociativas de búsqueda, y ahora la solicitud se enviará mientras se ingrese un nuevo carácter.
• Se corrigieron errores conocidos para rastreadores y cubos

0.2 Actualizado 2020/02/27

• Se encontró un error para las palabras clave de búsqueda para el participio de palabras secundarias
• Descubrí un error en el tipo de datos de PostgreSQL al rastrear
• Se ha agregado un nuevo rastreador de Bing para las palabras clave.
• Modificado algunos problemas lógicos del programa principal de rastreadores y búsqueda

0.2.1 Actualizado 2021/08/05

• Tendencia de ampolla agregada (/tendencia)
• Modificado las reglas para las colas de procesamiento de rastreadores en Cubeql
• Solucionar errores conocidos

0.3.1 Actualizado 2021/09/29

• Se libera el sistema de extensión
• Se agregó un nuevo complemento: Huyaoiblog
• Se espera que una gran parte de la actualización esté relacionada con los complementos en el futuro.

0.3.6 Actualizado 2021/12/15

• Se han optimizado muchas estructuras de directorio
• Se solucionó muchos errores
• Y agregó la función de la palabra diariamente
• Parece que el rendimiento ha mejorado un poco

Agente de usuario

Mozilla/5.0 (compatible; Verdantspider/1.0)

Hacer

1. Agregue una función de actualización dinámica de peso del motor de búsqueda necesaria (Hecho)

2. Implementar búsqueda difusa de chino-> pinyin (necesita crear una nueva mesa de mapeo)

3. Implementar el almacenamiento de bases de datos divididas

4. Convertir a PostgreSQL (hecho)

5. Estadísticas Los detalles de cada búsqueda de un resumen fácil (hecho)

6. Agregar bloqueos distribuidos implementados por Cubeql

7. Implementar palabras de búsqueda para guardar en la nube, y el servidor no requiere múltiples rastreos

8. Implemente el audio después de hacer clic en el icono de volumen

9. Implementar VLANG en lugar de la mayoría de las funciones de Python y optimizar el rendimiento

10. Date cuenta de los puntos calientes de búsqueda diaria

11. Implementar resumen inteligente de varios motores de búsqueda

12. Use contenedores para administrar el entorno para realizar una implementación de un solo clic y una operación de un solo clic

13. Ciclos de vida para cada índice único de la búsqueda, y el peso se reducirá después de un tiempo (se requieren nuevos programas para mantener) (Hecho)

14. Implementar Simhash e implementar la deduplicación de sitios web de blogs como CSDN

15. Admite búsqueda diversificada y filtros más fáciles de usar

La versión de referencia de PostgreSQL es 11.10

Ambiente

Python> = 3.6

matraz

Fastapi == 0.54.1

psycopg2

starlette

requests_html

jié

demJSON

BloomFilter_Live

gevento

Problemas encontrados al migrar PostgreSQL

1. PostgreSQL solo admite citas individuales para incluir cuerdas
2. El nombre de usuario es diferente de mysql
3. PostgreSQL tiene un patrón, pero no necesita prestar atención a la modificación SQL, ya que automáticamente apuntará al modo público.

---

Cómo usar

Estructura de directorio

├─
├─Docs
├─ RESOURES
│ ├─Config
│ ├─Cubeql
│ └─__pycache__
│ ├─lib
│ ├ ├ spider
│ └─__pycache __ │ ├─static
│ │ ├─CSS
│ │ ├─img
│ └─ Music
│ ├ ├templates
│ └─__pycache __
└─Sql

documentos: almacenar regularmente documentos

Recursos: directorio de almacenamiento de código fuente

config: el directorio alternativo para el archivo de configuración JSON (realmente llamado en el directorio raíz, y la optimización de la estructura del directorio aún no se ha completado

Cubeql: un directorio que almacena el código fuente relacionado con CUBEQL

Spider: directorio para almacenar rastreadores

lib: requisitos de la tienda

estática: almacenar archivos estáticos

Plantillas: almacenar archivos de plantilla

SQL: almacenar archivos SQL de creación de tabla alternativa

Backend.py - Archivo de backend del motor de búsqueda

config.json - archivo de configuración, solo el archivo json en el directorio raíz donde el código se ejecuta en vigencia

Pasos de ejecución

Tal vez hay algunas bibliotecas en el entorno que no se mencionan, pero de todos modos, ¿qué hay para instalar?

Modificar la contraseña de la cuenta de la base de datos y la IP de config.json

Asegúrese de que PostgreSQL esté abierto

Ejecutar en el directorio CUBEQL

UVICORN CUBEQL: APP -Port 1278

Ejecutar en el directorio de recursos

python backend.py

Ejecutarlo en el directorio de araña (puede abrir la búsqueda verde si no la ejecuta)

Python CDS-Distributed.py

Tendencias verdes

Al acceder /tendencia, puede contar la frecuencia de búsqueda de todas las palabras clave

Sistema enchufable

Escribir un sistema de complemento es bastante simple.

Luego cree un nuevo index.html y paquete.json en la carpeta Extensions.

paquete.json