Verdant_Search

Pesquisa verdejante

Atualmente, para considerar a carga do back -end, o back -end do mecanismo de pesquisa foi alterado para o Flask
No entanto, sua estrutura de armazenamento temporária CubeQL usa FASTAPI
Site oficial: http://115.29.198.35 E -mail do autor: [email protected]

Recurso -chave

• Os mecanismos de pesquisa pesquisarão automaticamente os resultados da pesquisa de banco de dados ausentes de outros mecanismos de pesquisa e os atualizam automaticamente.
• Diretamente relacionado ao dicionário Youdao, é mais conveniente pesquisar palavras
• Não há anúncios para a pesquisa, e a interface é mais simples
• Nenhuma pesquisa de rastreamento não gerará big data para matar maduras
• A desimilação de páginas de blog como o CSDN foi alcançada, o que melhorou a eficiência de pesquisa (proveniente)
• O sistema plug-in será lançado em breve
• Apoie o feedback on-line em tempo real sobre bugs e sugestões
• Crawler distribuído + banco de dados temporário auto-implementado (CubeQL)

Running Screenshot

CubeQL

Uma estrutura de armazenamento temporária para pesquisa de blush, implementando funções do tipo Redis e também pode filtrar URLs de rastreador através do módulo de filtro Bloom e usá-lo como desduplicação

A otimização de velocidade é esperada usando Vlang

0.1.1 estágio de atualização

1. Realize a classificação dinâmica de páginas da web para palavras -chave no banco de dados
2. Mude o back -end para o Flask e os outros ainda usam FASTAPI

0.1.2 Atualização

Otimize o problema do 404 Still Inclusion in StatusCode Rastreling por rastreadores distribuídos, o que aumenta os resultados da pesquisa.

0.1.3 Atualização

• Resumo rastreador de outros mecanismos de pesquisa
• Corrigido alguns erros
• Implementar a implementação do BloomFilter Bloomfilter, permitindo que a filtragem seja diretamente separada do MySQL.
• E implementar um cronômetro
• O selênio é usado para rastreadores de outros mecanismos de pesquisa

0.1.4 Atualizado 2020/01/30

• Adicionado API CRISP para facilitar os usuários para enviar comentários
• Implementou a transferência de PostgreSQL (do MySQL)
• Resultado adicionado rastreador para bing (não implementado)
• Resolveu a otimização anterior do mecanismo de palavras associativas de pesquisa e agora a solicitação será enviada enquanto um novo caractere for inserido.
• Corrigido erros conhecidos para rastreadores e cubeql

0.2 Atualizado 2020/02/27

• Um bug foi encontrado para as palavras -chave de pesquisa para o particípio de palavra secundária
• Eu descobri um bug no tipo de dados de PostgreSQL quando rasteja
• Um novo rastreador Bing para palavras -chave foi adicionado.
• Modificou alguns problemas lógicos de rastreador e pesquisa principal de pesquisa

0.2.1 Atualizado 2021/08/05

• Adicionado tendência de bolha (/tendência)
• Modificou as regras para filas de processamento de rastreadores em CubeQL
• Corrija bugs conhecidos

0.3.1 Atualizado 2021/09/29

• O sistema de extensão é liberado
• Adicionado um novo plugin: HuyaoiBLog
• Espera-se que grande parte da atualização esteja relacionada a plug-ins no futuro

0.3.6 Atualizado 2021/12/15

• Muitas estruturas de diretório foram otimizadas
• Corrigido muitos bugs
• E adicionou a função da palavra diariamente
• Parece que o desempenho melhorou um pouco

Agente de usuário

Mozilla/5.0 (compatível; verdantspider/1.0)

Pendência

1. Adicione algumas função de atualização dinâmica do peso do mecanismo de pesquisa (Concluído)

2. Implementar pesquisa difusa de chinês-> pinyin (precisa criar uma nova tabela de mapeamento)

3. Implementar armazenamento de banco de dados dividido

4. Converter para PostgreSQL (feito)

5. Estatísticas Os detalhes de cada pesquisa por resumo fácil (feito)

6. Adicionar bloqueios distribuídos implementados pelo CubeQL

7. Implementar palavras de pesquisa para salvar na nuvem, e o servidor não requer vários rastreamentos

8. Implementar o áudio depois de clicar no ícone de volume

9. Implemente o VLANG em vez da maioria das funções do Python e otimize o desempenho

10. Realize pontos quentes de pesquisa diária

11. Implementar resumo inteligente de vários mecanismos de pesquisa

12. Use recipientes para gerenciar o ambiente para realizar a implantação de um clique e operação com um clique

13. Ciclos de vida para cada índice único da pesquisa e o peso será reduzido após um tempo (novos programas são necessários para manter) (concluído)

14. Implementar Simhash e implementar a desduplicação de sites de blogs como CSDN

15. Suporta pesquisas diversificadas e filtros mais amigáveis

A versão de referência PostgreSQL é 11.10

Ambiente

python> = 3.6

balão

FASTAPI == 0.54.1

Psycopg2

Starlette

solicitações_html

Jieba

Demjson

Bloomfilter_live

Gevent

Problemas encontrados ao migrar PostgreSQL

1. O PostgreSQL suporta apenas citações únicas para incluir strings
2. O nome de usuário é diferente de MySQL
3. O PostgreSQL tem um padrão, mas você não precisa prestar atenção à modificação do SQL, porque apoiará automaticamente o modo público.

---

Como usar

Estrutura de diretório

├─.vscode
├─Docs
├─Resources
│ ├─Config
│ ├─Cubeql
│ └─__pycache__
│ ├─lib
│ ├─spider
│ └─__pycache __ │ ├ ├ estático
│ ├ ├—Css
│ │ ├─Img
│ └─ Music
│ ├—Templates
│ └─__pycache __
└─SQL

Documentos: armazenar regularmente documentos

Recursos: diretório de armazenamento de código -fonte

Config: o diretório alternativo para o arquivo de configuração JSON (realmente chamado no diretório raiz, e a otimização da estrutura do diretório ainda não foi concluída

CubeQL: um diretório que armazena o código-fonte relacionado ao CubeQL

Spider: Diretório para armazenar rastreadores

Lib: Requisitos de armazenamento

estático: armazenar arquivos estáticos

Modelos: Arquivos de modelo de armazenamento

SQL: armazenar arquivos SQL de criação de tabela alternativa

back -end.py - arquivo de back -end do mecanismo de pesquisa

Config.json - arquivo de configuração, apenas o arquivo json no diretório raiz onde o código está em execução entra em vigor

Etapas de execução

Talvez existam algumas bibliotecas no ambiente que não são mencionadas, mas de qualquer maneira, o que há para instalar

Modifique a senha da conta do banco de dados e o IP do config.json

Verifique se o PostgreSQL está aberto

Execute no diretório CubeQL

Uvicorn CubeQL: App --port 1278

Executar no diretório de recursos

python backend.py

Execute -o no diretório Spider (você pode abrir a pesquisa verde se não executá -lo)

python cds-distribued.py

Tendências verdes

Ao acessar /tendências, você pode contar a frequência de pesquisa de todas as palavras -chave

Sistema de plug-in

A gravação de um sistema de plug-in é bastante simples.

Em seguida, crie um novo index.html e package.json na pasta Extensions.

package.json