moodle search_elastic Download - moodle search

moodle search_elastic

شفرة المصدر الأخرى

2023011200

تنزيل

Moodle Global Search - Elasticsearch الخلفية

يتيح هذا البرنامج المساعد Moodle استخدام Elasticsearch كمحرك بحث للبحث العالمي في Moodle.

يتم توفير الميزات التالية بواسطة هذا البرنامج المساعد:

إصدارات متعددة من Elasticsearch
فهرسة الملف
طلب التوقيع ، متوافق مع Amazon Web Services (AWS)
تحترم إعدادات وكيل Moodle
التعرف على الصور وفهرستها (عبر الخدمة الخارجية)

تدعم إصدارات Moodle

يدعم هذا البرنامج المساعد حاليًا Moodle:

نسخة مودل	فرع
Moodle 4.4 وما فوق	Moodle_404_Stable
Moodle 4.2 إلى 4.3	Moodle_402_Stable
Moodle 3.10 إلى 4.1	Moodle_310_stable
Moodle 3.5 إلى 3.9	يتقن

دعم إصدار Elasticsearch

حاليًا ، يتم اختبار هذا البرنامج المساعد للعمل مقابل الإصدارات التالية من Elasticsearch:

5.5.0
6.4.1
6.6.1
7.17.9
8.5.3

والنسخة التالية من OpenSearch:

2.4.1

المنصات التي تم التحقق منها

تم اختبار هذا البرنامج المساعد للعمل على المنصات السحابية التالية:

Microsoft Azure
Amazon Webservices (AWS)
سحابة مرنة

الإعداد العام Elasticsearch

لاستخدام هذا البرنامج المساعد أولاً ، ستحتاج إلى إعداد خدمة Elaticsearch.

ما يلي هو الحد الأدنى العاري للحصول على Elasticsearch يعمل في بيئة نظام التشغيل Debian/Ubuntu. راجع Documention Elasticsearch للحصول على تعليمات متعمقة ، أو للحصول على تفاصيل حول كيفية التثبيت على أنظمة التشغيل الأخرى.

ملاحظة: يجب استخدام الإرشادات أدناه فقط لأغراض الاختبار و dev. لا تفعل هذا في الإنتاج. للحصول على إعداد إنتاج ، نوصي Elasticsearch بتشغيل مجموعة ، يمكن العثور على وثائق البدء هنا: https://www.elastic.co/n/Elasticsearch/Reference/current/setup.html

يتطلب Elasticsearch Java كشرط مسبق ، لتثبيت Java:

sudo apt-get install default-jre default-jdk

بمجرد تثبيت Java ، سيتم تثبيت الأوامر التالية وبدء تشغيل Elasticsearch.

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.1.deb
sudo dpkg -i elasticsearch-6.6.1.deb
sudo update-rc.d elasticsearch defaults
sudo service elasticsearch start

يمكن إجراء اختبار سريع عن طريق تشغيل ما يلي من سطر الأوامر.

 curl -X GET 'http://localhost:9200'

يجب أن يبدو المخرجات مثل:

{
  "name" : " 1QHLiux " ,
  "cluster_name" : " elasticsearch " ,
  "cluster_uuid" : " mLRqIsnVRrGdgg2OfHWNrg " ,
  "version" : {
    "number" : " 5.1.2 " ,
    "build_hash" : " c8c4c16 " ,
    "build_date" : " 2017-01-11T20:18:39.146Z " ,
    "build_snapshot" : false ,
    "lucene_version" : " 6.3.0 "
  },
  "tagline" : " You Know, for Search "
}

افتراضيًا ، تتوفر خدمة Elasticsearch على: http://localhost:9200

عامل ميناء

يمكنك أيضًا تشغيل Elasticsearch مع Docker. ينشر المشروع حاوية خارجية للإصدار المدعوم مع التعليمات.

Azure Elasticsearch إعداد

لاستخدام هذا البرنامج المساعد أولاً ، ستحتاج إلى إعداد خدمة Elaticsearch.

لاستخدام Microsoft Azure لتوفير خدمة Elasticsearch لـ Moodle:

إنشاء حساب Microsoft Azure: صفحة إنشاء الحساب
قم بإنشاء جهاز Virtual Linux واتصل بجهاز افتراضي: دليل إعداد جهاز Azure Linux Virtual
إعداد خدمة Elasticsearch:

يتطلب Elasticsearch Java كشرط مسبق ، لتثبيت Java:


sudo apt-get install default-jre default-jdk

بمجرد تثبيت Java ، سيتم تثبيت الأوامر التالية وبدء تشغيل Elasticsearch.


wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.deb
sudo dpkg -i elasticsearch-5.5.0.deb
sudo update-rc.d elasticsearch defaults
sudo service elasticsearch start

يمكن إجراء اختبار سريع عن طريق تشغيل ما يلي من سطر الأوامر.


curl -X GET 'http://localhost:9200'

يجب أن يبدو المخرجات مثل:


{
  "name" : "1QHLiux",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "mLRqIsnVRrGdgg2OfHWNrg",
  "version" : {
    "number" : "5.1.2",
    "build_hash" : "c8c4c16",
    "build_date" : "2017-01-11T20:18:39.146Z",
    "build_snapshot" : false,
    "lucene_version" : "6.3.0"
  },
  "tagline" : "You Know, for Search"
}

AWS Elasticsearch إعداد

لاستخدام هذا البرنامج المساعد أولاً ، ستحتاج إلى إعداد خدمة Elaticsearch.

لاستخدام Amazon WebServices (AWS) لتوفير خدمة Elasticsearch لـ Moodle:

إنشاء حساب AWS: دليل إنشاء الحساب
إعداد خدمة Elasticsearch: دليل إعداد AWS Elasticsearch

إعداد السحابة المرنة

لاستخدام السحابة المرنة لتوفير خدمة Elasticsearch لـ Moodle:

قم بإنشاء حساب سحابة مرنة وقم بإعداد Elasticsearch: Elasticsearch: البدء
قم بإنشاء مفتاح API لفهرس البحث الخاص بك وقم بتعيين هذا المفتاح على إعدادات المكون الإضافي Moodle.

تثبيت المكون الإضافي Moodle

بمجرد إعداد خدمة Elasticsearch ، يمكنك الآن تثبيت المكون الإضافي Moodle.

خطوات الإعداد هذه هي نفسها بغض النظر عن كيفية إعداد خدمة Elasticsearch.

احصل على الرمز ونسخه/تثبيته إلى: <moodledir>/search/engine/elastic
قم بتشغيل الترقية: sudo -u www-data php admin/cli/upgrade ملاحظة: قد يكون المستخدم مختلفًا عن www-data على نظامك.

Moodle Plugin Setup

بمجرد إعداد خدمة Elasticsearch ، يمكنك الآن تكوين المكون الإضافي Moodle.

خطوات الإعداد هذه هي نفسها بغض النظر عن كيفية إعداد خدمة Elasticsearch.

قم بتسجيل الدخول إلى Moodle كمسؤول
قم بإعداد المكون الإضافي في إدارة الموقع> الإضافات> البحث> إدارة البحث العالمي عن طريق تحديد مرونة كمحرك البحث.
قم بتكوين المكون الإضافي Elasticsearch على: إدارة الموقع> الإضافات> البحث> مرونة
اضبط اسم المضيف ومنفذ خادم Elasticsearch الخاص بك
اختياريا ، قم بتغيير متغير حجم الطلب . عموما هذا يمكن تركه كما هو. يتمتع بعض مقدمي خدمات Elasticsearch مثل AWS بحد كبير على حجم الحمولة الكبيرة HTTP. لذلك نحن نقتصر على حجم في البايت.
اختياريا ، قم بتعيين مفتاح API لأن بعض المنصات السحابية (مثل السحابة المرنة) تستخدمها لإذن طلبات HTTP.
لإنشاء الفهرس وملء Elasticsearch مع بيانات موقعك ، قم بتشغيل البرنامج النصي CLI هذا. sudo -u www-data php search/cli/indexer.php --force
تمكين البحث العالمي في إدارة الموقع> الميزات المتقدمة

ملف الدعم الفهرس

يستخدم هذا البرنامج المساعد Apache Tika لدعم فهرسة الملفات. تقوم Tika بتحليل الملفات ، وتستخرج النص ، وإعادته عبر واجهة برمجة تطبيقات REST.

يتم اختبار هذا البرنامج المساعد حاليًا للعمل مقابل الإصدارات التالية من Tika:

1.16
1.28
2.5.0
2.8.0

إعداد تيكا

إعداد خدمة اختبار Tika مباشرة إلى الأمام. في معظم الحالات على بيئة Linux ، يمكنك ببساطة تنزيل Java Jar ثم تشغيل الخدمة.


wget http://apache.mirror.amaze.com.au/tika/tika-server-1.16.jar
java -jar tika-server-1.16.jar

سيبدأ هذا تيكا على المضيف. افتراضيًا ، تتوفر خدمة Tika على: http://localhost:9998

تمكين دعم فهرسة الملفات في Moodle

بمجرد توفر خدمة Tika ، يجب تكوين المكون الإضافي Elasticsearch في Moodle لدعم فهرسة الملفات.
على افتراض أنك قد اتبعت بالفعل خطوات التثبيت الأساسية ، لتمكين دعم فهرسة الملفات:

قم بتكوين المكون الإضافي Elasticsearch على: إدارة الموقع> الإضافات> البحث> مرونة
حدد خانة اختيار فهرسة تمكين ملف .
اضبط اسم مضيف Tika ومنفذ Tika في خدمة Tika الخاصة بك. إذا اتبعت تعليمات إعداد TIKA الأساسية ، يجب ألا تحتاج الإعدادات الافتراضية إلى التغيير.
انقر فوق الزر "حفظ التغييرات" .

ما هو تيكا

من موقع Apache Tika:

تكتشف مجموعة أدوات Apache Tika ™ واستخراج البيانات الوصفية والنص من أكثر من ألف نوع ملفات مختلفة (مثل PPT و XLS و PDF). يمكن تحليل كل أنواع الملفات هذه من خلال واجهة واحدة ، مما يجعل Tika مفيدًا لفهرسة محرك البحث ، وتحليل المحتوى ، والترجمة ، وأكثر من ذلك بكثير. يمكنك العثور على أحدث إصدار في صفحة التنزيل. يرجى الاطلاع على صفحة البدء للحصول على مزيد من المعلومات حول كيفية البدء في استخدام Tika.

لماذا تستخدم Tika كخدمة قائمة بذاتها؟

من الشائع رؤية تطبيقات Elasticsearch باستخدام مكون إضافي لفريق ملف Elasticsearch بدلاً من خدمة قائمة بذاتها. الإضافات الحالية Elasticsearch هي غلاف حول Tika. (يستخدم محرك البحث SOLR أيضًا TIKA).
إن استخدام Tika كخدمة مستقلة له المزايا التالية:

يمكن دعم فهرسة الملفات لإعدادات Elasticsearch التي لا تدعم المكونات الإضافية لفهرسة الملفات مثل AWS.
لا حاجة لتغيير الإعداد أو الإضافات بناءً على إصدار Elasticsearch.
يمكنك مشاركة خدمة Tika واحدة عبر مجموعات Elasticsearch متعددة.
يمكن تشغيل Tika على البنية التحتية المخصصة التي ليست جزءًا من عقد البحث.
يتم تخزين الملفات المخزنة باستخدام وظائف Elasticsearch الأصلية كسجلات منفصلة داخل Elasticsearch ، وهي منفصلة عن بقية البيانات المخزنة المتعلقة بهذا الملف.
تناول الملفات باستخدام وظيفة Elasticsearch الأصلية غير فعالة للغاية. يتم تخزين الملفات في قاعدة البيانات الداخلية Elasticsearch كسلاسل مشفرة BASE64. BASE64 في المتوسط يشغل مساحة أكبر بنسبة 30 ٪ من الثنائي الأصلي. هذا بالإضافة إلى المحتوى المستخرج من الملف الذي يتم تخزينه أيضًا في Elasticsearch.
تنص وثائق Elasticsearch أيضًا على:

استخراج المحتويات من البيانات الثنائية هو عملية كثيفة الموارد وتستهلك الكثير من الموارد. يوصى بشدة بتشغيل خطوط الأنابيب باستخدام هذا المعالج في عقدة مخصصة.

التعرف على الصور وفهرستها

يمكن لهذا البرنامج المساعد استخدام خدمات الويب Amazon (AWS) [خدمة إعادة التعرف (https://aws.amazon.com/rekognition/) لتحديد محتويات الصور. ثم يتم فهرسة المحتوى المحدد بواسطة Elasticsearch ويمكن البحث عنه في Moodle (Cool Huh؟).

ملاحظة: يقتصر فهرسة الملفات من قبل Moodle's Core Global Search حاليًا على فهرسة الملفات فقط من مكانين. تم رفع عدد تعقب MDL-59459 لزيادة تغطية الملفات المفهرسة بواسطة Global Search.

حاليًا أفضل مورد لاستخدامه لاختبار وظائف البحث في الصور ، لذا أضف صورة عبر مورد ملف Moodle Course.

تمكين التعرف على الصور ودعم الفهرسة في Moodle

بمجرد إجراء إعداد Elasticsearch في AWS ، يجب تكوين Moodle للتعرف على الصور.
على افتراض أنك قد اتبعت بالفعل خطوات التثبيت الأساسية وخطوات فهرسة الملف ، لتمكين التعرف على الصور:

قم بتكوين المكون الإضافي Elasticsearch على: إدارة الموقع> الإضافات> البحث> مرونة
حدد خانة الاختيار تمكين توقيع الصورة .
قم بتعيين المعرف الرئيسي والمفتاح السري ومنطقة بيانات اعتماد AWS الخاصة بك ومنطقة إعادة الإدراك.
انقر فوق الزر "حفظ التغييرات" .

ملاحظة: ستحتاج إلى مجموعة من مفاتيح AWS API لمستخدم AWS IAM مع أذونات إعادة الإدراك الكاملة. إعداد هذا هو خارج نطاق هذا readme. لمزيد من المعلومات ، راجع وثائق AWS.

طلب التوقيع

توفر Amazon Web Services (AWS) Elasticsearch كخدمة مُدارة. هذا يجعل من السهل توفير وإدارة مجموعة Elasticsearch.
واحدة من الطرق التي يمكنك من خلالها تأمين الوصول إلى بياناتك في Elasticsearch عند استخدام AWS هو استخدام توقيع الطلب. يتيح توقيع الطلب أن يتم قبول الطلبات الموقعة فقط من قبل نقطة نهاية Elasticsearch. لا يُسمح للطلبات غير الموقعة بالوصول إلى نقطة النهاية.

تمكين طلب التوقيع في Moodle

بمجرد إجراء إعداد Elasticsearch في AWS ، يجب تكوين Moodle لتوقيع الطلب.
على افتراض أنك قد اتبعت بالفعل خطوات التثبيت الأساسية ، لتمكين توقيع الطلب:

قم بتكوين المكون الإضافي Elasticsearch على: إدارة الموقع> الإضافات> البحث> مرونة
حدد خانة الاختيار توقيع طلب تمكين .
قم بتعيين المعرف الرئيسي والمفتاح السري ومنطقة بيانات اعتماد AWS الخاصة بك ومنطقة Elasticsearch.
انقر فوق الزر "حفظ التغييرات" .

خدمات الويب

يعرض هذا البرنامج المساعد اثنين من خدمات الويب الخاصة بـ AJAX ، للسماح لك بدمج البحث العالمي لـ Moodle مع الأنظمة والخدمات الأخرى. إن الخدمات المتوفرة هما:

Search_elastic_search - إرجاع نتائج البحث استنادًا إلى استعلام البحث المقدم.
Search_elastic_search_areas - إرجاع معرفات منطقة البحث لكل منطقة بحث متوفرة في Moodle.

يعد إعداد هذه الخدمات وتوثيقها متسقًا مع خدمات الويب الأخرى لـ Moodle Core.

يقوم هذا المكون الإضافي بإعداد خدمة خارجية تم تكوينها مسبقًا تسمى خدمة البحث عند تثبيت المكون الإضافي. تضيف هذه الخدمة وتمكّن طريقتي خدمة الويب التي توفرها هذا البرنامج المساعد.

ملاحظة: ستحتاج إلى إجراء بحث عالمي ومكّن هذا البرنامج المساعد وتكوينه بشكل صحيح قبل أن تتمكن من استخدام خدمات الويب المقدمة.

اختبار الإعداد

من أجل تشغيل اختبارات وحدة PHP لهذا البرنامج المساعد ، تحتاج إلى إعداد وتكوين مثيل Elasticsearch كما هو الحال مع توفير تفاصيل المثيل إلى Moodle. تحتاج إلى تحديد:

اسم المضيف: اسم عنوان URL لمضيف مثيل Elasticsearch الخاص بك
المنفذ: منفذ TCP الذي يستمع إليه المضيف
الفهرس: اسم الفهرس لاستخدامه أثناء الاختبارات. ملاحظة: تأكد من أن هذا يختلف عن مؤشر الإنتاج الخاص بك!

الإعداد عبر config.php

لتحديد المتغيرات المطلوبة في ملف تكوين Moodle الخاص بك ، أضف ما يلي إلى config.php :


define('TEST_SEARCH_ELASTIC_HOSTNAME', 'http://127.0.0.1');
define('TEST_SEARCH_ELASTIC_PORT', 9200);
define('TEST_SEARCH_ELASTIC_INDEX', 'moodle_test_2');

الإعداد عبر متغيرات البيئة

يمكن أيضًا توفير متغيرات تكوين مثيل Elasticserach المطلوبة كمتغيرات بيئة. للقيام بذلك في سطر أوامر Linux:


export TEST_SEARCH_ELASTIC_HOSTNAME=http://127.0.0.1; export TEST_SEARCH_ELASTIC_PORT=9200; export TEST_SEARCH_ELASTIC_INDEX=moodle_test

إدارة الاختبارات

أولاً قم بتهيئة بيئة الاختبار ، من الدليل المنزلي في رمز Moodle: php admin/tool/phpunit/cli/init.php لتشغيل اختبارات الإضافات هذه فقط: vendor/bin/phpunit search_elastic_engine_testcase search/engine/elastic/tests/engine_test.php