tangseng

محرك بحث Tangseng بناءً على لغة Go

انقر هنا للحصول على محتوى مفصل للمشروع

المشروع العام الإطار والوظائف

1. يتم استخدام GIN كإطار HTTP ، ويستخدم GRPC كإطار RPC ، وما إلى ذلك يستخدم كاكتشاف الخدمة.
2. يتم تقسيم الخدمة الكلية إلى用户模块،收藏夹模块،索引平台،搜索引擎(文字模块) ،搜索引擎(图片模块) .
3. يزحف الزاحف الموزعة بيانات ويرسلها إلى مجموعة كافكا ، ثم يدخل قاعدة البيانات للاستهلاك. (على الرغم من أن الزاحف لم يكتبها بعد ، إلا أنه لا يمنعني من رسم الكعك ...)
4. يتم إعداد البحث النصية لوحدات محرك البحث بشكل منفصل باستخدام BoltDB لتخزين الفهرس ، و MapReduce يسارع بناء الفهرس ويستخدم roaring bitmap لتخزين الفهرس.
5. استخدم Trie Tree لتنفيذ جمعية الدخول (من المقرر أن تتم إضافة جمعية إدخال نموذج الخوارزمية لاحقًا).
6. يستخدم البحث عن الصور RESNET50 لإجراء استعلام ناقل + استعلام من MILVUS أو FAISS Vector Database (لقد بدأت ... Deeplearning صعب للغاية ...).
7. يدعم العديد من عمليات الاسترجاع ، واستدعاء الفهرس العكسي في GO ، واستدعاء المتجهات في Python. يتم استدعاء الاتصال من خلال GRPC لأداء الانصهار.
8. يدعم TF-IDF ، BM25 وفرز الخوارزمية الأخرى.

؟ ‍ عنوان الواجهة الأمامية

كل شيء في رد الفعل ، ولكن لا يزال الترميز

React-Tangseng

التخطيط في المستقبل

المتعلقة بالهندسة المعمارية

• تقديم الصمامات خفض التصنيف
• قدم Jaeger لتتبع الارتباط الكامل (Go Tracking to Python)
• قدم مكامن السماء أو بروميثيوس للمراقبة
• استخراج init من DAO واستخدم المفتاح للحصول على مثيل قاعدة البيانات ذات الصلة
• الفصل بين البيانات الساخنة والباردة (راجع مخطط ES ، والمفتاح هو الحكم على المعايير الساخنة والباردة ، والتي يمكن كتابتها في الوسيطة؟)
• في الوقت الحالي ، فإن MySQL يكفي لتخزين الفهرس الأمامي ، ولكن قد يتم استخدامه مباشرة في خطوة واحدة.

ذات الصلة الوظيفية

• إنه بطيء جدًا في إنشاء فهرس.
• انضغاط الفهرس ، فهرس مقلوب ، أي جدول فهرس مقلوب ، يتغير لاحقًا لحفظ الإزاحة ، استخدم MMAP
• يجب مراعاة حساب الارتباط ، TFIDF ، BM25
• استخدم أشجار البادئة لتخزين معلومات الجمعية
• Huffman مشفرة شجرة بادئة مضغوطة
• عند إنشاء فهرس ، يتم تغيير عنوان نقل الملف إلى دفق نقل الملفات
• يقدم Python نموذج BET لأداء كلمات توصية تجزئة الكلمات ويوفر واجهة GRPC
• يدعم تخزين شجرة Trie المقلوبة و trie التخزين المتسق للتجزئة
• ناقلات الكلمات
• Pagerank
• عملية بناء وتذكر فصل شجرة تري
• أضف كلمة النعت إلى IK Word GSSTRINGLE
• قم بإنشاء منصة فهرس ، وفصل الحوسبة والتخزين ، فهرس منفصل واستدعاء
• وتشغيل الاختلاف (عملية بت)
• ترقيم الصفحات
• نوع
• استعلام الإدخال الصحيح ، مثل "Lu Jiazui" -> "Lu Jiazui"
• أدخل الإدخال لربطه ، مثل "Dongfang Ming" Tips -> "Dongfang Pearl"
• حاليًا ، هي طريقة فهرسة قائمة على الكتلة.
• أضف فهرسة ديناميكية بناءً على الفهرسة السابقة (لا أعرف ما إذا كان يمكن تنفيذ الفتحة السابقة ...)
• إصلاح المؤشر العكسي واستخدام صورة نقطية طافرة لتخزين المستندات (صعبة للغاية)
• تنفيذ فئة TF
• بعد البحث في واحدة ، لم يتم مسح ذاكرة التخزين المؤقت ، مما يؤدي إلى اندماج النتيجة مع النتيجة السابقة.
• تحسين الفارق

ابدأ بسرعة

تبدأ البيئة!

make env-up

مجموعة البيانات الصغيرة في source_data/movies_data.csv

يبدأ بيثون!

1. تأكد من تثبيت جهاز الكمبيوتر ، تأكد من أن إصدار Python> = 3.9 ، الإصدار الخاص بي هو 3.10.2

   python --version

2. تثبيت بيئة VenV

   python -m venv venv

3. تنشيط بيئة Venv Python

   ماكوس:

    source venv/bin/activate

   Windows:

   سأكون متوافقًا بعد الانتهاء من مسح محرك الأقراص C ... لم أركض بعد الفوز بعد ...

4. تثبيت تبعيات الطرف الثالث

    pip install - r requirements . txt

يبدأ Golang!

إصدار Golang> = Go 1.16. إصدار GO الخاص بي هو 1.18.6

1. قم بتنزيل حزمة تبعية الطرف الثالث

   go mod tidy

2. تنفيذ في الدليل

   make run-xxx(user,favortie ...)
   # e.g:
   # make run-user
   # make run-favorite
   # 具体看makefile文件

مساهمة مفتوحة المصدر

يرجى التحقق من CONTRIBUTING_CN.md قبل تقديم العلاقات العامة