tlgs

TLGS - การค้นหาราศีเมถุนทั้งหมด

ภาพรวม

TLGS เป็นเครื่องมือค้นหาสำหรับราศีเมถุน มันใช้งานได้เล็กน้อยสำหรับสิ่งที่เป็นอยู่ในปัจจุบันและใช้เทคโนโลยีแปลก ๆ และฉันภูมิใจในสิ่งนั้น รหัสปัจจุบัน Basse ยุ่ง - ฉันสัญญาว่าจะทำความสะอาด คุณสมบัติ/คุณสมบัติหลักมีดังนี้:

• ใช้สถานะของศิลปะ C ++ 20
• แยกวิเคราะห์และดัชนีเนื้อหาที่เป็นข้อความบน gemninispace
• เกิดขึ้นพร้อมกันและอะซิงโครนัสสูง
• จัดเก็บดัชนีใน PostgreSQL
• พัฒนาขึ้นสำหรับ Linux แต่ควรทำงานบน Windows, OpenBSD, Haikuos, MacOS และอื่น ๆ
• เฉพาะการดึงส่วนหัวสำหรับไฟล์ที่ไม่สามารถดัชนีเพื่อบันทึก bandwith และเวลา
• จัดการการเข้ารหัสแหล่งที่มาทุกชนิด
• การวิเคราะห์ลิงก์โดยใช้อัลกอริทึม Salsa

ณ ตอนนี้การจัดทำดัชนีของเว็บไซต์ข่าว, RFCs, เอกสารส่วนใหญ่ถูกปิดใช้งาน แต่มีแนวโน้มที่จะเปิดใช้งานเมื่อฉันมีค่าเฉลี่ยและทรัพยากรในการปรับขนาดการตั้งค่า

ใช้โครงการนี้

ข้อกำหนด

• เครื่องราง
• Nlohmann-Json
• CLI11
• libfmt
• TBB
• xxhash
• ไอคอน
• PostgreSQL

การสร้างและดำเนินโครงการ

เพื่อสร้างโครงการ คุณจะต้องมีคอมไพเลอร์ที่มีความสามารถ C ++ 20 อย่างสมบูรณ์ คอมไพเลอร์ต่อไปนี้ควรทำงานเมื่อเขียน readme นี้

• gcc> = 11.2
• msvc> = 16.25

ติดตั้งการพึ่งพาทั้งหมด และเรียกใช้คำสั่ง:

mkdir build
cd build
cmake ..
make -j

การสร้างและบำรุงรักษาดัชนี

เพื่อสร้างดัชนี inital:

1. เริ่มต้นฐานข้อมูล ./tlgs/tlgs_ctl/tlgs_ctl ../tlgs/config.json populate_schema
2. วาง url เมล็ดลงใน seeds.text
3. ในโฟลเดอร์ ./tlgs/crawler/tlgs_crawler -s seeds.text -c 4 ../tlgs/config.json

ตอนนี้ตัวรวบรวมข้อมูลจะเริ่มคลาน Geminispace ในขณะเดียวกันก็อัปเดตดัชนีที่ล้าสมัย (ถ้ามี) เพื่ออัปเดตดัชนีที่มีอยู่ วิ่ง:

./tlgs/crawler/tlgs_crawler -c 2 ../tlgs/config.json
# -c is the maximum concurrent connections the crawler will make

หมายเหตุ: การรวบรวมข้อมูลของ TLGS นั้นสามารถแจกจ่ายได้ คุณสามารถเรียกใช้หลายอินสแตนซ์แบบขนาน แต่ความตั้งใจบางอย่างอาจลดลงก่อนเวลาหรือคลาน แม้ว่ามันจะไม่ส่งผลกระทบของการคลาน

เรียกใช้แคปซูล

openssl req -new -subj " /CN=my.host.name.space " -x509 -newkey ec -pkeyopt ec_paramgen_curve:prime256v1 -days 36500 -nodes -out cert.pem -keyout key.pem
cd tlgs/server
./tlgs_server ../../../tlgs/server_config.json

ผ่าน Systemd

sudo systemctl start tlgs_server
sudo systemctl start tlgs_crawler

การกำหนดค่าเซิร์ฟเวอร์

ส่วน custom_config.tlgs ใน search_config.json (ติดตั้งที่ /etc/tlgs/server_config.json ) มี Confgurations สำหรับเซิร์ฟเวอร์ TLGS นอกจากตัวเลือกการกำหนดค่าของ Drogon ตามปกติ Custom_Config เปลี่ยนคุณสมบัติของ TLGS เอง ตัวเลือกที่รองรับปัจจุบันคือ:

Ranking_algo

อัลกอริทึมการจัดอันดับ TLGs ใช้ในการจัดอันดับหน้าในผลการค้นหา การจัดอันดับจะถูกรวมเข้ากับคะแนนการจับคู่ข้อความเพื่อสร้างอันดับการค้นหาขั้นสุดท้าย ค่าที่รองรับปัจจุบันคือ hits และ salsa อ้างถึงอัลกอริทึมการจัดอันดับฮิตและซัลซ่า มันเริ่มต้นเป็น salsa หากไม่มีค่า

ซัลซ่าทำงานเร็วกว่าการเข้าชมเล็กน้อยสำหรับผลการค้นหาขนาดใหญ่ ทั้งวรรณกรรมและประสบการณ์ที่สำคัญแสดงให้เห็นว่าซัลซ่าให้การจัดอันดับที่ดีขึ้น ดังนั้นเราจึงเปลี่ยนจากการโจมตีเป็นซัลซ่า

 "ranking_algo" : " salsa " 

โทดอส

• การล้างรหัส
  • ฉันต้องรวมศูนย์ตรรกะการคลาน
• สุ่มลำดับของการคลาน หลีกเลี่ยงการทุบตีแคปซูลเดียว
  • เรียงลำดับของ .. โดยการสุ่มตัวอย่างตารางหน้าด้วยเปอร์เซ็นต์ต่ำและเพิ่มขึ้นในภายหลัง
• สนับสนุนการแยกวิเคราะห์ Markdown
• ลองจัดทำดัชนีเว็บไซต์ข่าว
• เพิ่มประสิทธิภาพการรวบรวมข้อมูลมากยิ่งขึ้น
  • ตรวจสอบแฮชก่อนอัปเดตดัชนี
  • Peoper UTF-8 การจัดการในการตรวจจับ ASCII ART
  • ใช้ Trie for Blacklist URL Match
• การวิเคราะห์ลิงก์โดยใช้ซัลซ่า
• BM25 สำหรับการให้คะแนนข้อความ
• ผลการค้นหา dedeuplicate
• ตัวกรอง impement
• วิธีที่เหมาะสม (?) ในการโยกย้ายสคีมา