الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

إصدار جديد: https://github.com/sightnet

لن يتم الحفاظ على هذا المشروع.

==========

==========



محرك البحث على شبكة الإنترنت الخصوصية

موقع إلكتروني

سمات

الزاحف

  • Multithesply
  • مخبأ
  • robots.txt
  • الوكيل
  • قائمة الانتظار (BFS)
  • اكتشاف المتتبعين
  • http -> https

موقع / CLI

  • التشفير (RSA)
  • API
  • الوكيل
  • العقد
  • تصنيف

الاستخدام (Docker)

يرجى تشغيل البناء في كل مرة لتغيير الحجج.
يتم إطلاق الموقع افتراضيًا على المنفذ 8080 ومع Proxy Tor ( !!! ) ، لتحريره ، تحتاج إلى تغيير موقع Config.json وإعادة البناء.
يجب تغيير مفتاح API لقاعدة البيانات في التكوين وعندما يتم بدء قاعدة البيانات (-مفتاح API).

DB - يرجى التشغيل قبل استخدام الآخرين 

sudo docker pull typesense/typesense:0.24.0.rcn6
mkdir /tmp/typesense-data
sudo docker run -p 8108:8108 -v/tmp/data:/data typesense/typesense:0.24.0.rcn6 --data-dir /data --api-key=xyz

الزاحف 

sudo docker-compose build crawler --build-arg SITES= " $( cat sites.txt ) "  --build-arg THREADS=1 --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up crawler

موقع إلكتروني 

sudo docker-compose build website --build-arg CONFIG= " $( cat config.json ) "
sudo docker-compose up website

الاستخدام (دليل)

ديب 

 cd scripts && sh install_deps.sh

يبني 

 cd scripts && sh build_all.sh

يجري

يتم إطلاق الموقع افتراضيًا على المنفذ 8080 ومع Proxy Tor ( !!! ) ، لتحريره ، تحتاج إلى تغيير config.json.
يجب تغيير مفتاح API لقاعدة البيانات في التكوين وعندما يتم بدء قاعدة البيانات (-مفتاح API).

DB - يرجى التشغيل قبل استخدام الآخرين 

mkdir /tmp/typesense-data &&
./typesense-server --data-dir=/tmp/typesense-data --api-key=xyz --enable-cors &&
sh scripts/init_db.sh

الزاحف 

./crawler ../../sites.txt 5 ../../config.json
# [sites_path] [threads_count] [config path]

موقع إلكتروني 

./website ../../config.json
# [config path]

حالات

¯ (ツ) /¯

تودو

  • عامل ميناء
  • التشفير (Assymetric)
  • زاحف Multithreading
  • قواعد الروبوتات (من الرؤوس و HTML) و Crawl Delay
  • تصميم الويب المستجيب
  • FTS الخاص (...)
  • الصور زاحف

التبعيات

  • libcurl (المصدر)
  • ليكسبر (المصدر)
  • Typesense (المصدر)
  • OpenSSL (المصدر)

تكوين

./config.json

المرايا

  • https://github.com/liameno/librengine
  • https://codeberg.org/liameno/librengine

رخصة

GNU ASFERO GENERAL LICENT V3.0

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل