Verdant_Search

การค้นหาที่เขียวขจี

ปัจจุบันเพื่อพิจารณาภาระของแบ็กเอนด์แบ็คเอนด์ของเครื่องมือค้นหาได้เปลี่ยนเป็น Flask
อย่างไรก็ตามโครงสร้างการจัดเก็บชั่วคราว cubeql ใช้ fastapi
เว็บไซต์อย่างเป็นทางการ: http://115.29.198.35 อีเมลผู้แต่ง: [email protected]

คุณสมบัติที่สำคัญ

• เครื่องมือค้นหาจะค้นหาผลการค้นหาฐานข้อมูลที่หายไปโดยอัตโนมัติจากเครื่องมือค้นหาอื่น ๆ และอัปเดตโดยอัตโนมัติ
• เกี่ยวข้องโดยตรงกับพจนานุกรม YouDao มันสะดวกกว่าในการค้นหาคำ
• ไม่มีโฆษณาสำหรับการค้นหาและอินเทอร์เฟซนั้นง่ายกว่า
• ไม่มีการค้นหาการติดตามจะไม่สร้างข้อมูลขนาดใหญ่เพื่อฆ่าผู้ใหญ่
• ความสำเร็จของหน้าบล็อกเช่น CSDN ได้สำเร็จซึ่งได้ปรับปรุงประสิทธิภาพการค้นหา (กำลังจะมาถึง)
• ระบบปลั๊กอินจะเปิดตัวเร็ว ๆ นี้
• สนับสนุนข้อเสนอแนะออนไลน์แบบเรียลไทม์เกี่ยวกับข้อบกพร่องและข้อเสนอแนะ
• Distributed Crawler + ฐานข้อมูลชั่วคราวที่ใช้ตนเอง (CUBEQL)

กำลังใช้งานสกรีนช็อต

cubeql

โครงสร้างการจัดเก็บชั่วคราวสำหรับการค้นหาที่แดง

การเพิ่มประสิทธิภาพความเร็วคาดว่าโดยใช้ vlang

ขั้นตอนการอัปเดต 0.1.1

1. ตระหนักถึงการเรียงลำดับแบบไดนามิกของหน้าเว็บสำหรับคำหลักในฐานข้อมูล
2. เปลี่ยนแบ็กเอนด์เป็นขวดและคนอื่น ๆ ยังคงใช้ fastapi

0.1.2 อัปเดต

เพิ่มประสิทธิภาพปัญหาของ 404 ยังคงรวมอยู่ในการรวบรวมข้อมูลสถานะโดยการรวบรวมข้อมูลแบบกระจายซึ่งเพิ่มการเรียงลำดับผลการค้นหาหน้าเว็บและการเพิ่มน้ำหนัก (การเปลี่ยนเส้นทาง)

0.1.3 อัปเดต

• สรุปการคลานของเครื่องมือค้นหาอื่น ๆ
• แก้ไขข้อบกพร่องบางอย่าง
• การใช้งาน BloomFilter BloomFilter ช่วยให้การกรองถูกแยกออกจาก MySQL โดยตรง
• และใช้ตัวจับเวลา
• ซีลีเนียมใช้สำหรับรวบรวมข้อมูลจากเครื่องมือค้นหาอื่น ๆ

0.1.4 อัปเดต 2020/01/30

• เพิ่ม API ที่คมชัดเพื่ออำนวยความสะดวกให้ผู้ใช้ส่งความคิดเห็น
• ใช้การถ่ายโอน PostgreSQL (จาก MySQL)
• เพิ่มผลลัพธ์ตัวรวบรวมข้อมูลสำหรับ Bing (ไม่ได้ใช้งาน)
• แก้ไขการเพิ่มประสิทธิภาพก่อนหน้าของกลไกการค้นหาคำเชื่อมโยงและตอนนี้คำขอจะถูกส่งตราบใดที่มีการป้อนอักขระใหม่
• แก้ไขข้อบกพร่องที่รู้จักสำหรับชุดรวบรวมข้อมูลและ cubeql

0.2 อัปเดต 2020/02/27

• พบข้อผิดพลาดสำหรับคำหลักในการค้นหาสำหรับคำศัพท์รองคำ
• ฉันค้นพบข้อผิดพลาดในประเภทข้อมูลของ PostgreSQL เมื่อคลาน
• มีการเพิ่ม Bing Crawler ใหม่สำหรับคำหลักแล้ว
• แก้ไขปัญหาตรรกะบางอย่างของโปรแกรมรวบรวมข้อมูลและค้นหาโปรแกรมหลัก

0.2.1 อัปเดต 2021/08/05

• เพิ่มแนวโน้มแผลพุพอง (/แนวโน้ม)
• แก้ไขกฎสำหรับคิวการประมวลผลตัวรวบรวมข้อมูลใน cubeql
• แก้ไขข้อบกพร่องที่รู้จัก

0.3.1 อัปเดต 2021/09/29

• ระบบส่วนขยายถูกปล่อยออกมา
• เพิ่มปลั๊กอินใหม่: huyaoiblog
• คาดว่าส่วนใหญ่ของการอัปเดตจะเกี่ยวข้องกับปลั๊กอินในอนาคต

0.3.6 อัปเดต 2021/12/15

• โครงสร้างไดเรกทอรีจำนวนมากได้รับการปรับให้เหมาะสม
• แก้ไขข้อบกพร่องมากมาย
• และเพิ่มฟังก์ชั่นของคำทุกวัน
• ดูเหมือนว่าประสิทธิภาพจะดีขึ้นเล็กน้อย

ตัวแทนผู้ใช้

Mozilla/5.0 (เข้ากันได้; Verdantspider/1.0)

สิ่งที่ต้องทำ

1. เพิ่มฟังก์ชั่นการอัปเดตแบบไดนามิกของเครื่องมือค้นหาที่จำเป็น (เสร็จแล้ว)

2. ใช้การค้นหาฟัซซี่ของจีน-> พินอิน (จำเป็นต้องสร้างตารางการทำแผนที่ใหม่)

3. ใช้ที่เก็บฐานข้อมูลแยก

4. แปลงเป็น postgreSQL (เสร็จแล้ว)

5. สถิติรายละเอียดของการค้นหาแต่ละครั้งเพื่อสรุปง่าย (เสร็จแล้ว)

6. เพิ่มล็อคแบบกระจายที่ดำเนินการโดย cubeql

7. ใช้คำค้นหาเพื่อบันทึกในคลาวด์และเซิร์ฟเวอร์ไม่จำเป็นต้องมีการรวบรวมข้อมูลหลายครั้ง

8. ใช้เสียงหลังจากคลิกไอคอนระดับเสียง

9. ใช้ vlang แทนฟังก์ชั่น python ส่วนใหญ่และเพิ่มประสิทธิภาพประสิทธิภาพ

10. ตระหนักถึงการค้นหาทุกวัน

11. ใช้ข้อมูลสรุปอัจฉริยะของเครื่องมือค้นหาต่างๆ

12. ใช้คอนเทนเนอร์เพื่อจัดการสภาพแวดล้อมเพื่อให้ตระหนักถึงการปรับใช้แบบคลิกเดียวและการดำเนินการเดียวคลิก

13. วงจรชีวิตสำหรับแต่ละดัชนีเดี่ยวของการค้นหาและน้ำหนักจะลดลงหลังจากผ่านไประยะหนึ่ง (ต้องใช้โปรแกรมใหม่เพื่อรักษา) (เสร็จแล้ว)

14. ใช้ simhash และใช้การซ้ำซ้อนของเว็บไซต์บล็อกเช่น CSDN

15. รองรับการค้นหาที่หลากหลายและตัวกรองที่ใช้งานง่ายมากขึ้น

เวอร์ชันอ้างอิง PostgreSQL คือ 11.10

สิ่งแวดล้อม

Python> = 3.6

ขวด

fastapi == 0.54.1

psycopg2

ดารา

คำขอ _html

jieba

Demjson

Bloomfilter_live

เกจิ

ปัญหาที่พบเมื่อย้าย postgreSQL

1. PostgreSQL รองรับคำพูดเดียวเท่านั้นเพื่อรวมสตริง
2. ชื่อผู้ใช้แตกต่างจาก MySQL
3. PostgreSQL มีรูปแบบ แต่คุณไม่จำเป็นต้องให้ความสนใจกับการปรับเปลี่ยน SQL เพราะมันจะชี้ไปที่โหมดสาธารณะโดยอัตโนมัติ

---

วิธีใช้

โครงสร้างไดเรกทอรี

├─.vscode
├─Docs
├─Resources
│├─Config
│├─Cubeql
│─__pycache__
│─Lib
│├─Spider
│─__pycache __ │─static
│
│├├├├img
│─Music
│─Templates
│─__pycache __
└─SQL

เอกสาร: จัดเก็บเอกสารเป็นประจำ

ทรัพยากร: ไดเรกทอรีการจัดเก็บข้อมูลซอร์สโค้ด

config: ไดเรกทอรีสำรองสำหรับไฟล์การกำหนดค่า JSON (เรียกจริงในไดเรกทอรีรูทและการเพิ่มประสิทธิภาพของโครงสร้างไดเรกทอรียังไม่เสร็จสมบูรณ์

cubeql: ไดเรกทอรีที่เก็บซอร์สโค้ดที่เกี่ยวข้องกับ CubeQL

แมงมุม: ไดเรกทอรีสำหรับเก็บรวบรวมข้อมูล

lib: ข้อกำหนดของร้านค้า

คงที่: เก็บไฟล์คงที่

เทมเพลต: จัดเก็บไฟล์เทมเพลต

SQL: จัดเก็บไฟล์การสร้างตารางสำรองไฟล์ SQL

backend.py - ไฟล์แบ็กเอนด์เครื่องมือค้นหา

config.json - ไฟล์การกำหนดค่าเฉพาะไฟล์ JSON ในไดเรกทอรีรูทซึ่งรหัสกำลังทำงานจะเกิดขึ้น

ขั้นตอนการทำงาน

อาจมีห้องสมุดบางแห่งในสภาพแวดล้อมที่ไม่ได้กล่าวถึง แต่อย่างไรก็ตามมีอะไรให้ติดตั้ง

แก้ไขรหัสผ่านบัญชีฐานข้อมูลและ IP ของ config.json

ตรวจสอบให้แน่ใจว่า PostgreSQL เปิดอยู่

รันในไดเรกทอรี cubeql

Uvicorn Cubeql: แอพ -พอร์ต 1278

เรียกใช้ในไดเรกทอรีทรัพยากร

Python Backend.py

เรียกใช้ในไดเรกทอรีแมงมุม (คุณสามารถเปิดการค้นหาสีเขียวได้หากคุณไม่เรียกใช้)

Python CDS- แจกจ่าย

แนวโน้มสีเขียว

โดยการเข้าถึง /เทรนด์คุณสามารถนับความถี่การค้นหาของคำหลักทั้งหมด

ระบบปลั๊กอิน

การเขียนระบบปลั๊กอินนั้นค่อนข้างง่าย

จากนั้นสร้าง index.html และ package.json ใหม่ในโฟลเดอร์ส่วนขยาย

package.json