Verdant_Search

Pencarian hijau

Saat ini, untuk mempertimbangkan beban backend, backend mesin pencari telah diubah menjadi flask
Namun, struktur penyimpanan sementara CubeQL menggunakan Fastapi
Situs web resmi: http://115.29.198.35 Email Penulis: [email protected]

Fitur utama

• Mesin pencari akan secara otomatis mencari hasil pencarian basis data yang hilang dari mesin pencari lainnya dan secara otomatis memperbaruinya.
• Terkait langsung dengan Kamus Youdao, lebih nyaman untuk mencari kata -kata
• Tidak ada iklan untuk pencarian, dan antarmuka lebih sederhana
• Tidak ada pencarian jejak tidak akan menghasilkan data besar untuk membunuh dewasa
• Penghapusan halaman blog seperti CSDN telah tercapai, yang telah meningkatkan efisiensi pencarian (datang)
• Sistem plug-in akan segera diluncurkan
• Mendukung umpan balik online real-time tentang bug dan saran
• CRAWLER Terdistribusi + Database sementara yang diimplementasikan sendiri (CubeQL)

Menjalankan tangkapan layar

Cubeql

Struktur penyimpanan sementara untuk pencarian blush, menerapkan fungsi seperti redis, dan juga dapat menyaring URL crawler melalui modul filter mekar, dan menggunakannya sebagai deduplikasi

Optimalisasi Kecepatan Diharapkan Menggunakan Vlang

Tahap Pembaruan 0.1.1

1. Sadarilah penyortiran halaman web yang dinamis untuk kata kunci dalam database
2. Ubah backend menjadi flask, dan yang lainnya masih menggunakan fastapi

Pembaruan 0.1.2

Optimalkan masalah 404 masih dimasukkan dalam crawling kode status dengan crawler terdistribusi, yang meningkatkan hasil pencarian hasil web dan peningkatan berat (pengalihan)

Pembaruan 0.1.3

• Merangkak ringkasan mesin pencari lainnya
• Memperbaiki beberapa bug
• Menerapkan implementasi Bloomfilter Bloomfilter, memungkinkan penyaringan dipisahkan secara langsung dari MySQL.
• Dan mengimplementasikan timer
• Selenium digunakan untuk perayap dari mesin pencari lainnya

0.1.4 Diperbarui 2020/01/30

• Menambahkan API Crisp untuk memfasilitasi pengguna untuk mengirimkan komentar
• Mengimplementasikan transfer PostgreSQL (dari MySQL)
• Perayap hasil yang ditambahkan untuk Bing (tidak diimplementasikan)
• Memecahkan optimalisasi sebelumnya dari mekanisme kata asosiatif pencarian, dan sekarang permintaan akan dikirim selama karakter baru dimasukkan.
• Memperbaiki bug yang diketahui untuk crawler dan cubeql

0.2 diperbarui 2020/02/27

• Bug ditemukan untuk kata kunci pencarian untuk kata sekunder participle
• Saya menemukan bug di jenis data Postgresql saat merangkak
• Perayap Bing baru untuk kata kunci telah ditambahkan.
• Memodifikasi beberapa masalah logika crawler dan pencarian program utama

0.2.1 Diperbarui 2021/08/05

• Menambahkan tren blister (/tren)
• Memodifikasi aturan untuk antrian pemrosesan crawler di cubeql
• Perbaiki bug yang diketahui

0.3.1 Diperbarui 2021/09/29

• Sistem ekstensi dilepaskan
• Menambahkan plugin baru: huyaoiblog
• Diharapkan bahwa sebagian besar pembaruan akan terkait dengan plug-in di masa depan

0.3.6 Diperbarui 2021/12/15

• Banyak struktur direktori telah dioptimalkan
• Memperbaiki banyak bug
• Dan menambahkan fungsi kata setiap hari
• Tampaknya kinerja telah sedikit membaik

Agen pengguna

Mozilla/5.0 (kompatibel; verdantspider/1.0)

Harus melakukan

1. Tambahkan beberapa fungsi pembaruan dinamis berat mesin pencari yang diperlukan (selesai)

2. Menerapkan pencarian fuzzy dari Cina-> pinyin (perlu membuat tabel pemetaan baru)

3. Menerapkan penyimpanan basis data terpisah

4. Konversi ke PostgreSQL (selesai)

5. Statistik Rincian setiap pencarian untuk ringkasan yang mudah (selesai)

6. Tambahkan kunci terdistribusi yang diimplementasikan oleh CubeQL

7. Menerapkan kata pencarian untuk disimpan di cloud, dan server tidak memerlukan beberapa perayapan

8. Laksanakan audio setelah mengklik ikon volume

9. Menerapkan vlang, bukan sebagian besar fungsi Python dan mengoptimalkan kinerja

10. Sadari hot spot harian

11. Menerapkan ringkasan cerdas dari berbagai mesin pencari

12. Gunakan wadah untuk mengelola lingkungan untuk mewujudkan penyebaran satu klik dan operasi satu klik

13. Siklus hidup untuk setiap indeks tunggal pencarian, dan beratnya akan dikurangi setelah beberapa saat (program baru diperlukan untuk mempertahankan) (selesai)

14. Menerapkan Simhash dan mengimplementasikan deduplikasi situs web blog seperti CSDN

15. Mendukung Pencarian Diversifikasi dan Filter yang lebih ramah pengguna

Versi referensi PostgreSQL adalah 11.10

Lingkungan

Python> = 3.6

labu

FASTAPI == 0.54.1

psycopg2

Starlette

requests_html

Jieba

Demjson

Bloomfilter_live

gevent

Masalah yang dihadapi saat bermigrasi PostgreSQL

1. PostgreSQL hanya mendukung kutipan tunggal untuk memasukkan string
2. Nama pengguna berbeda dari mysql
3. PostgreSQL memiliki pola, tetapi Anda tidak perlu memperhatikan modifikasi SQL, karena secara otomatis akan menunjuk ke mode publik.

---

Cara menggunakan

Struktur direktori

├─.vscode
├─Docs
├─ Sumber daya
│ ├─config
│ ├─Cubeql
│ └─__pycache__
│ ├─Lib
│ ├─Spider
│ └─__pycache __ │ ├─Static
│ │ ├─CSS
│ │ ├─Img
│ └─Music
│ ├─ Templat
│ └─__pycache __
└─sql

Dokumen: secara teratur menyimpan dokumen

Sumber Daya: Direktori Penyimpanan Kode Sumber

Config: Direktori alternatif untuk file konfigurasi JSON (benar -benar dipanggil di direktori root, dan optimalisasi struktur direktori belum selesai

CubeQL: Direktori yang menyimpan kode sumber terkait CubeQL

Laba -laba: Direktori untuk menyimpan crawler

Lib: Persyaratan toko

Statis: Simpan file statis

Template: Simpan file template

SQL: Store Alternate Table Creation File SQL

backend.py - file backend mesin pencari

config.json - file konfigurasi, hanya file json di direktori root tempat kode sedang berjalan berlaku

Langkah Menjalankan

Mungkin ada beberapa perpustakaan di lingkungan yang tidak disebutkan, tapi bagaimanapun, apa yang harus diinstal

Ubah Kata Sandi Akun Database dan IP Config.json

Pastikan PostgreSQL terbuka

Jalankan di direktori cubeql

Uvicorn Cubeql: App --port 1278

Dijalankan di direktori sumber daya

python backend.py

Jalankan di direktori laba -laba (Anda dapat membuka pencarian hijau jika Anda tidak menjalankannya)

Python CDS-Distributed.py

Tren hijau

Dengan mengakses /tren, Anda dapat menghitung frekuensi pencarian semua kata kunci

Sistem plug-in

Menulis sistem plug-in cukup sederhana.

Kemudian buat index.html dan package.json baru di folder Extensions.

package.json