tangseng

เครื่องมือค้นหา Tangseng ใช้ภาษา Go

คลิกที่นี่เพื่อดูเนื้อหาโดยละเอียดของโครงการ

Project Framework & Functions

1. GIN ใช้เป็น HTTP Framework ใช้ GRPC เป็นเฟรมเวิร์ก RPC และ ETCD ใช้เป็นการค้นพบบริการ
2. บริการโดยรวมแบ่งออกเป็น用户模块收藏夹模块索引平台搜索引擎(文字模块) และ搜索引擎(图片模块)
3. ตัวรวบรวมข้อมูลแบบกระจายข้อมูลรวบรวมข้อมูลและส่งไปยังคลัสเตอร์ Kafka จากนั้นป้อนฐานข้อมูลเพื่อบริโภค (แม้ว่าตัวรวบรวมข้อมูลยังไม่ได้เขียน แต่ก็ไม่ได้ป้องกันไม่ให้ฉันวาดเค้ก ... )
4. การค้นหาข้อความของโมดูลเครื่องมือค้นหาถูกตั้งค่าแยกต่างหากโดยใช้ BOLTDB เพื่อจัดเก็บดัชนี MapReduce เร่งการสร้างดัชนีและใช้ roaring bitmap เพื่อจัดเก็บดัชนี
5. ใช้ Trie Tree เพื่อใช้งานการเข้าร่วม (สมาคมอัลกอริทึมแบบจำลองการเข้าร่วมมีการวางแผนที่จะเพิ่มในภายหลัง)
6. การค้นหารูปภาพใช้ RESNET50 เพื่อดำเนินการสืบค้นแบบเวกเตอร์ + แบบสอบถามของฐานข้อมูล Milvus หรือ FAISS Vector (ฉันเริ่มต้น ... deeplearning ยากเกินไป ... )
7. รองรับการเรียกคืนหลายครั้งการเรียกคืนดัชนีย้อนกลับใน GO และการเรียกคืนเวกเตอร์ใน Python การเชื่อมต่อเรียกผ่าน GRPC เพื่อดำเนินการฟิวชั่น
8. รองรับ TF-IDF, BM25 และการเรียงลำดับอัลกอริทึมอื่น ๆ

?? ‍ ที่อยู่ front-end

ทั้งหมดใน React แต่ยังคงเข้ารหัส

ตอบโต้

การวางแผนในอนาคต

เกี่ยวข้องกับสถาปัตยกรรม

• แนะนำฟิวส์ดาวน์เกรด
• แนะนำ Jaeger สำหรับการติดตามลิงค์เต็มรูปแบบ (ไปติดตามไปที่ Python)
• แนะนำ Skywalking หรือ Prometheus สำหรับการตรวจสอบ
• แยก init จาก DAO และใช้คีย์เพื่อรับอินสแตนซ์ฐานข้อมูลที่เกี่ยวข้อง
• การแยกข้อมูลร้อนและเย็น (อ้างอิงถึงโครงการ ES กุญแจสำคัญคือการตัดสินมาตรฐานที่ร้อนและเย็นซึ่งอาจเขียนในมิดเดิลแวร์?)
• ในปัจจุบัน MySQL นั้นเพียงพอที่จะเก็บดัชนีไปข้างหน้า แต่อาจใช้กับ OLAP โดยตรงในขั้นตอนเดียว

การทำงานที่เกี่ยวข้อง

• มันช้าเกินไปที่จะสร้างดัชนี
• การบีบอัดดัชนีดัชนีกลับหัวนั่นคือตารางดัชนีกลับด้านหลังจากนั้นเปลี่ยนเป็นบันทึกออฟเซ็ตใช้ MMAP
• ควรพิจารณาการคำนวณความสัมพันธ์ TFIDF, BM25
• ใช้คำนำหน้าต้นไม้เพื่อจัดเก็บข้อมูลการเชื่อมโยง
• ต้นไม้คำนำหน้าบีบอัด Huffman ที่เข้ารหัส
• เมื่อสร้างดัชนีที่อยู่การถ่ายโอนไฟล์จะถูกเปลี่ยนเป็นสตรีมการถ่ายโอนไฟล์
• Python แนะนำรูปแบบการเดิมพันเพื่อดำเนินการคำแนะนำการแบ่งส่วนคำและให้อินเทอร์เฟซ GRPC
• การจัดเก็บต้นไม้คว่ำและต้น Trie รองรับการจัดเก็บแฮชชาร์ดที่สอดคล้องกัน
• เวกเตอร์คำ
• เพกเกอร์
• กระบวนการสร้างและเรียกคืนในการแยกต้นไม้ Trie
• เพิ่มคำศัพท์คำไปยังคำนาม
• สร้างแพลตฟอร์มดัชนีแยกการคำนวณและการจัดเก็บแยกดัชนีและการเรียกคืนแยกต่างหาก
• และการดำเนินการที่แตกต่าง (การดำเนินการบิต)
• การปนเปื้อน
• เรียงลำดับ
• คำค้นหาอินพุตที่ถูกต้องเช่น "lu jiazui" -> "lu jiazui"
• ป้อนรายการเพื่อเชื่อมโยงมันเช่น "Dongfang Ming" เคล็ดลับ -> "Dongfang Pearl"
• ปัจจุบันเป็นวิธีการจัดทำดัชนีแบบบล็อก
• เพิ่มการจัดทำดัชนีแบบไดนามิกตามอันก่อนหน้า (ฉันไม่รู้ว่าอันก่อนหน้านี้สามารถนำไปใช้ได้ ... )
• ปฏิรูปดัชนีย้อนกลับและใช้บิตแมปคำรามเพื่อจัดเก็บเอกสาร (ยากมาก)
• ใช้คลาส TF
• หลังจากค้นหาหนึ่งแคชจะไม่ถูกล้างออกส่งผลให้เกิดผลลัพธ์ที่รวมเข้ากับอันก่อนหน้า
• การเพิ่มประสิทธิภาพเครื่องคัดสรร

เริ่มต้น

สภาพแวดล้อมเริ่มต้น!

make env-up

ชุดข้อมูลขนาดเล็กอยู่ใน source_data/movies_data.csv

Python เริ่มต้น!

1. ตรวจสอบให้แน่ใจว่าคอมพิวเตอร์ติดตั้ง Python ตรวจสอบให้แน่ใจว่ารุ่น Python> = 3.9 รุ่นของฉันคือ 3.10.2

   python --version

2. ติดตั้งสภาพแวดล้อม venv

   python -m venv venv

3. เปิดใช้งานสภาพแวดล้อม Venv Python

   macos:

    source venv/bin/activate

   Windows:

   ฉันจะเข้ากันได้หลังจากล้างไดรฟ์ C เสร็จแล้ว ... ฉันยังไม่ได้ชนะ ...

4. ติดตั้งการพึ่งพาของบุคคลที่สาม

    pip install - r requirements . txt

Golang เริ่มต้น!

Golang เวอร์ชัน> = ไป 1.16 เวอร์ชันของฉันคือ 1.18.6

1. ดาวน์โหลดแพ็คเกจการพึ่งพาของบุคคลที่สาม

   go mod tidy

2. ดำเนินการในไดเรกทอรี

   make run-xxx(user,favortie ...)
   # e.g:
   # make run-user
   # make run-favorite
   # 具体看makefile文件

การบริจาคโอเพ่นซอร์ส

โปรดตรวจสอบ CONTRIBUTING_CN.md ก่อนส่ง PR