الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

البحث الخضراء

حاليًا ، من أجل النظر في حمولة الخلفية ، تم تغيير الواجهة الخلفية لمحرك البحث إلى Flask
ومع ذلك ، فإن بنية التخزين المؤقتة تستخدم cubeql fastapi
الموقع الرسمي: http://115.29.198.35 البريد الإلكتروني للمؤلف: [email protected]

ميزة رئيسية

  • ستقوم محركات البحث تلقائيًا بالبحث عن نتائج بحث قاعدة البيانات المفقودة من محركات البحث الأخرى وتحديثها تلقائيًا.
  • مرتبط مباشرة بقاموس Youdao ، فهو أكثر ملاءمة للبحث في الكلمات
  • لا توجد إعلانات للبحث ، والواجهة أبسط
  • لن يؤدي أي بحث تتبع إلى إنشاء بيانات كبيرة لقتل الناضجة
  • تم تحقيق desimilation من صفحات المدونة مثل CSDN ، مما أدى إلى تحسين كفاءة البحث (القادمة)
  • سيتم إطلاق نظام المكونات قريبًا
  • دعم التعليقات في الوقت الفعلي على الإنترنت على الأخطاء والاقتراحات
  • Distributed Crawler + قاعدة بيانات مؤقتة تنبأ ذاتيًا (Cubeql)

تشغيل لقطة الشاشة

معاينة 1

معاينة 2

Cubeql

بنية تخزين مؤقت للبحث الخدود ، وتنفيذ وظائف تشبه redis ، ويمكن أيضًا تصفية عناوين URL لزراعة الزاحف من خلال وحدة مرشح Bloom ، واستخدامها كإلهاء مصرفي

من المتوقع تحسين السرعة باستخدام Vlang

0.1.1 مرحلة التحديث

  1. أدرك الفرز الديناميكي لصفحات الويب للكلمات الرئيسية في قاعدة البيانات
  2. تغيير الواجهة الخلفية إلى القارورة ، وما زال الآخرون يستخدمون fastapi

تحديث 0.1.2

قم بتحسين مشكلة 404 لا يزال الإدراج في زحف الرمز الواقف عن طريق الزحف الموزعة ، مما يزيد من فرز صفحة الويب نتائج البحث وزيادة الوزن (إعادة التوجيه)

تحديث 0.1.3

  • ملخص الزحف لمحركات البحث الأخرى
  • إصلاح بعض الأخطاء
  • تنفيذ تنفيذ BloomFilter Bloomfilter ، مما يسمح بالتصفية مباشرة عن MySQL.
  • وتنفيذ مؤقت
  • يستخدم السيلينيوم للزحف من محركات البحث الأخرى

0.1.4 تحديث 2020/01/30

  • تمت إضافة واجهة برمجة تطبيقات هشة لتسهيل المستخدمين لتقديم التعليقات
  • نفذت نقل postgreSQL (من MySQL)
  • زاحف النتيجة الإضافية لـ Bing (لم يتم تنفيذها)
  • حل التحسين السابق لآلية الكلمات الترابطية ، والآن سيتم إرسال الطلب طالما تم إدخال حرف جديد.
  • الأخطاء المعروفة الثابتة للزحفات و Cubeql

0.2 تحديث 2020/02/27

  • تم العثور على خطأ في الكلمات الرئيسية للبحث عن Word Word Scyple
  • لقد اكتشفت خطأ في نوع بيانات postgresql عند الزحف
  • تمت إضافة زاحف Bing الجديد للكلمات الرئيسية.
  • تعديل بعض المشكلات المنطقية للزاحف والبحث عن البرنامج الرئيسي

0.2.1 تحديث 2021/08/05

  • إضافة نفطة الاتجاه (/الاتجاه)
  • تعديل قواعد قوائم معالجة الزاحف في Cubeql
  • إصلاح الأخطاء المعروفة

0.3.1 تم التحديث 2021/09/29

  • يتم إصدار نظام التمديد
  • تمت إضافة مكون إضافي جديد: Huyaoiblog
  • من المتوقع أن يرتبط جزء كبير من التحديث بالمكونات الإضافية في المستقبل

0.3.6 تم تحديثها 2021/12/15

  • تم تحسين العديد من هياكل الدليل
  • إصلاح العديد من الأخطاء
  • وأضاف وظيفة الكلمة يوميا
  • يبدو أن الأداء قد تحسن قليلاً

عامل المستخدم

Mozilla/5.0 (متوافق ؛ Verdantspider/1.0)

المهام

  1. أضف بعض وظيفة التحديث الديناميكي لوزن محرك البحث (تم)

  2. قم بتنفيذ البحث الغامض للصينيين> pinyin (تحتاج إلى إنشاء جدول رسم خرائط جديد)

  3. تنفيذ تخزين قاعدة بيانات الانقسام

  4. تحويل إلى postgresql (تم)

  5. إحصائيات تفاصيل كل بحث عن ملخص سهل (تم)

  6. أضف الأقفال الموزعة التي تنفذها Cubeql

  7. قم بتنفيذ كلمات البحث لحفظها في السحابة ، ولا يتطلب الخادم زحفات متعددة

  8. قم بتنفيذ الصوت بعد النقر على أيقونة الصوت

  9. قم بتنفيذ Vlang بدلاً من معظم وظائف Python وتحسين الأداء

  10. أدرك النقاط الساخنة البحث اليومي

  11. تنفيذ ملخص ذكي لمحركات البحث المختلفة

  12. استخدم الحاويات لإدارة البيئة لتحقيق النقر بنقرة واحدة وعملية نقرة واحدة

  13. دورات الحياة لكل فهرس واحد للبحث ، وسيتم تخفيض الوزن بعد فترة (مطلوب برامج جديدة للحفاظ عليها) (تم) (تم)

  14. قم بتنفيذ Simhash وتنفيذ إلغاء بيانات مدونة مثل CSDN

  15. يدعم البحث المتنوع والمزيد من المرشحات سهلة الاستخدام

إصدار مرجع PostgreSQL هو 11.10

بيئة

بيثون> = 3.6

قارورة

fastapi == 0.54.1

PSYCOPG2

Starlette

requests_html

جيبا

Demjson

Bloomfilter_Live

جيفنت

تواجه المشاكل عند ترحيل postgresql
  1. PostgreSQL يدعم فقط عروض أسعار واحدة لتشمل السلاسل
  2. اسم المستخدم مختلف عن MySQL
  3. لدى PostgreSQL نمط ، لكنك لا تحتاج إلى الانتباه إلى تعديل SQL ، لأنه سيشير تلقائيًا إلى الوضع العام.

كيفية استخدام

هيكل الدليل

├.vscode
docs
├ الموارد
│ ├config
│ ├cubeql
│ └__pycache__
│ ├lib
│ ├spider
│ └__pypycache __ │ ├static
│ │ ├css
│ │ ├img
│ music
│ ├templates
│ └__pypycache __
└sql

مستندات: تخزين المستندات بانتظام

الموارد: دليل تخزين رمز المصدر

التكوين: الدليل البديل لملف التكوين JSON (يسمى حقًا في الدليل الجذر ، ولم يتم إكمال تحسين بنية الدليل بعد

Cubeql: دليل يخزن رمز المصدر المتعلق بـ Cubeql

العنكبوت: دليل لتخزين الزحف

LIB: متطلبات المتجر

ثابت: تخزين الملفات الثابتة

قوالب: ملفات القالب

SQL: تخزين ملفات إنشاء الجدول البديل SQL

backend.py - ملف محرك البحث الخلفي

config.json - ملف التكوين ، فقط ملف JSON في دليل الجذر حيث يتم تشغيل الرمز

خطوات التشغيل

ربما هناك بعض المكتبات في البيئة لم يتم ذكرها ، ولكن على أي حال ، ما هو هناك للتثبيت

قم بتعديل كلمة مرور حساب قاعدة البيانات و IP الخاص بـ config.json

تأكد من فتح postgreSQL

تشغيل في دليل Cubeql

Uvicorn Cubeql: App -Port 1278

تشغيل دليل الموارد

بيثون الخلفية

قم بتشغيله في دليل العنكبوت (يمكنك فتح البحث الأخضر إذا لم تقم بتشغيله)

Python CDS-distributed.py

الاتجاهات الخضراء

عن طريق الوصول /الاتجاه ، يمكنك حساب تردد البحث لجميع الكلمات الرئيسية

نظام المكونات

يعد كتابة نظام الإضافات أمرًا بسيطًا للغاية.

ثم قم بإنشاء index.html جديد و package.json في مجلد الامتدادات.

package.json

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل