moodle search_elastic Download - moodle search

moodle search_elastic

Anderer Quellcode

2023011200

Herunterladen

Moodle Global Search - Elasticsearch Backend

Mit diesem Plugin kann Moodle Elasticsearch als Suchmaschine für die globale Suche von Moodle verwenden.

Die folgenden Funktionen werden durch dieses Plugin bereitgestellt:

Mehrere Versionen von Elasticsearch
Dateiindizierung
Anfragen von Unterzeichnung, kompatibel mit Amazon Web Services (AWS)
Respektiert die Einstellungen für die Moodle -Proxy
Bilderkennung und Indizierung (über externen Dienst)

Unterstützte Moodle -Versionen

Dieses Plugin unterstützt derzeit Moodle:

Moodle -Version	Zweig
Moodle 4.4 und Up	Moodle_404_Stable
Moodle 4.2 bis 4.3	Moodle_402_Stable
Moodle 3.10 bis 4.1	Moodle_310_Stable
Moodle 3.5 bis 3,9	Master

Elasticsearch -Versionsunterstützung

Gegenwärtig wird dieses Plugin getestet, um gegen die folgenden Versionen von Elasticsearch zu arbeiten:

5.5.0
6.4.1
6.6.1
7.17.9
8.5.3

Und folgende Version von OpenSearch:

2.4.1

Verifizierte Plattformen

Dieses Plugin wurde getestet, um auf den folgenden Cloud -Plattformen zu arbeiten:

Microsoft Azure
Amazon Webservices (AWS)
Elastische Wolke

Generisches Elasticsearch -Setup

Um dieses Plugin zuerst zu verwenden, müssen Sie einen Elaticsearch -Dienst einrichten.

Das Folgende ist das nötige Minimum, um Elasticsearch in einer Debian/Ubuntu -Betriebssystemumgebung zum Arbeiten zu bringen. Wenden Sie sich an die Elasticsearch -Dokumentation, um eingehende Anweisungen zu erhalten oder Informationen zur Installation in anderen Betriebssystemen zu erhalten.

Hinweis: Die folgenden Anweisungen sollten nur für Test- und Entwicklungszwecke verwendet werden. Mach das nicht in der Produktion. Für ein Produktionssetup empfehlen wir Elasticsearch als Cluster, die Erstedokumentation finden Sie hier: https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html

Elasticsearch erfordert Java als Voraussetzung, um Java zu installieren:

sudo apt-get install default-jre default-jdk

Sobald Java installiert ist, werden die folgenden Befehle installiert und starten ElasticSearch.

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.1.deb
sudo dpkg -i elasticsearch-6.6.1.deb
sudo update-rc.d elasticsearch defaults
sudo service elasticsearch start

Ein kurzer Test kann durchgeführt werden, indem Sie Folgendes aus der Befehlszeile ausführen.

 curl -X GET 'http://localhost:9200'

Die Ausgabe sollte ungefähr aussehen wie:

{
  "name" : " 1QHLiux " ,
  "cluster_name" : " elasticsearch " ,
  "cluster_uuid" : " mLRqIsnVRrGdgg2OfHWNrg " ,
  "version" : {
    "number" : " 5.1.2 " ,
    "build_hash" : " c8c4c16 " ,
    "build_date" : " 2017-01-11T20:18:39.146Z " ,
    "build_snapshot" : false ,
    "lucene_version" : " 6.3.0 "
  },
  "tagline" : " You Know, for Search "
}

Standardmäßig ist der Elasticsearch -Dienst verfügbar unter: http://localhost:9200

Docker

Sie können Elasticsearch auch mit Docker ausführen. Das Projekt veröffentlicht einen offiziellen Container für unterstützte Versionen mit Anweisungen.

Azure Elasticsearch Setup

Um dieses Plugin zuerst zu verwenden, müssen Sie einen Elaticsearch -Dienst einrichten.

Um Microsoft Azure zu verwenden, um einen Elasticsearch -Service für Moodle anzubieten:

Erstellen Sie ein Microsoft Azure -Konto: Kontoerstellungsseite
Erstellen Sie eine virtuelle Linux -Maschine und stellen Sie eine Verbindung zu virtueller Maschine her: Azure Linux Virtual Machine Setup -Handbuch
Richten Sie einen Elasticsearch -Dienst ein:

Elasticsearch erfordert Java als Voraussetzung, um Java zu installieren:


sudo apt-get install default-jre default-jdk

Sobald Java installiert ist, werden die folgenden Befehle installiert und starten ElasticSearch.


wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.deb
sudo dpkg -i elasticsearch-5.5.0.deb
sudo update-rc.d elasticsearch defaults
sudo service elasticsearch start

Ein kurzer Test kann durchgeführt werden, indem Sie Folgendes aus der Befehlszeile ausführen.


curl -X GET 'http://localhost:9200'

Die Ausgabe sollte ungefähr aussehen wie:


{
  "name" : "1QHLiux",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "mLRqIsnVRrGdgg2OfHWNrg",
  "version" : {
    "number" : "5.1.2",
    "build_hash" : "c8c4c16",
    "build_date" : "2017-01-11T20:18:39.146Z",
    "build_snapshot" : false,
    "lucene_version" : "6.3.0"
  },
  "tagline" : "You Know, for Search"
}

AWS Elasticsearch Setup

Um dieses Plugin zuerst zu verwenden, müssen Sie einen Elaticsearch -Dienst einrichten.

Um Amazon Webservices (AWS) zu verwenden, um einen Elasticsearch -Service für Moodle anzubieten:

Erstellen Sie ein AWS -Konto: Account Creation Guide
Richten Sie einen Elasticsearch -Dienst ein: AWS Elasticsearch Setup Guide

Elastic Cloud Setup

Verwenden von Elastic Cloud, um einen Elasticsearch -Service für Moodle zu bieten:

Erstellen Sie ein elastisches Cloud -Konto und richten Sie Elasticsearch ein: ElasticSearch: Erste Schritte
Generieren Sie den API -Schlüssel für Ihren Suchindex und setzen Sie diesen Schlüssel auf die Moodle -Plugin -Einstellungen.

Moodle -Plugin -Installation

Sobald Sie einen Elasticsearch -Dienst eingerichtet haben, können Sie jetzt das Moodle -Plugin installieren.

Diese Setup -Schritte sind gleich, unabhängig davon, wie Sie den Elasticsearch -Dienst eingerichtet haben.

Holen Sie sich den Code und kopieren/installieren Sie ihn in: <moodledir>/search/engine/elastic
Führen Sie das Upgrade aus: sudo -u www-data php admin/cli/upgrade Hinweis: Der Benutzer kann sich von www-data in Ihrem System unterscheiden.

Moodle Plugin Setup

Sobald Sie einen Elasticsearch -Dienst eingerichtet haben, können Sie jetzt das Moodle -Plugin konfigurieren.

Diese Setup -Schritte sind gleich, unabhängig davon, wie Sie den Elasticsearch -Dienst eingerichtet haben.

Melden Sie sich als Administrator in Moodle an
Richten Sie das Plugin in Site -Administration> Plugins> Suchen> Suchen> Globale Suche verwalten, indem Sie Elastizität als Suchmaschine auswählen.
Konfigurieren Sie das Elasticsearch -Plugin unter: Site -Administration> Plugins> Suche> Elastizität
Legen Sie Hostname und Port Ihres Elasticsearch -Servers fest
Ändern Sie optional die Anforderungsgrößenvariable . Im Allgemeinen kann dies so belassen werden, wie es ist. Einige Elasticsarch -Anbieter wie AWS haben eine Grenze dafür, wie groß die HTTP -Nutzlast sein kann. Daher beschränken wir es auf eine Größe in Bytes.
Setzen Sie optional den API -Schlüssel, da einige Cloud -Plattformen (z. B. Elastic Cloud) sie zur Autorisierung von HTTP -Anforderungen verwenden.
Um den Index zu erstellen und Elasticsearch mit den Daten Ihrer Website zu füllen, führen Sie diese CLI -Skript aus. sudo -u www-data php search/cli/indexer.php --force
Aktivieren Sie die globale Suche in der Website -Verwaltung> Fortgeschrittene Funktionen

Unterstützung bei der Dateiindizierung

Dieses Plugin verwendet Apache Tika für die Unterstützung der Dateiindizierung. Tika spricht Dateien an, extrahiert den Text und gibt ihn über eine REST -API zurück.

Derzeit wird dieses Plugin getestet, um gegen die folgenden Versionen von Tika zu arbeiten:

1.16
1.28
2.5.0
2.8.0

Tika Setup

Das Einrichten eines Tika -Testdienstes ist einfach. In den meisten Fällen in einer Linux -Umgebung können Sie einfach das Java -Glas herunterladen und dann den Service ausführen.


wget http://apache.mirror.amaze.com.au/tika/tika-server-1.16.jar
java -jar tika-server-1.16.jar

Dies wird Tika auf dem Gastgeber beginnen. Standardmäßig ist der Tika -Dienst verfügbar unter: http://localhost:9998

Aktivierung der Unterstützung der Dateiindizierung in Moodle

Sobald ein Tika -Dienst verfügbar ist, muss das Elasticsearch -Plugin in Moodle für die Unterstützung der Dateiindizierung konfiguriert werden.
Angenommen, Sie haben bereits die grundlegenden Installationsschritte befolgt, um die Unterstützung der Dateiindizierung zu aktivieren:

Konfigurieren Sie das Elasticsearch -Plugin unter: Site -Administration> Plugins> Suche> Elastizität
Wählen Sie das Kontrollkästchen Dateiindizierung aktivieren .
Stellen Sie den Tika -Hostnamen und den Tika -Port Ihres Tika -Dienstes fest. Wenn Sie den Basis -Tika -Setup -Anweisungen befolgt haben, müssen die Standardeinstellungen nicht geändert werden.
Klicken Sie auf die Schaltfläche "Änderungen speichern" .

Was ist Tika?

Von der Apache Tika -Website:

Das Apache Tika ™ Toolkit erkennt und extrahiert Metadaten und Text von über tausend verschiedenen Dateitypen (wie PPT, XLS und PDF). Alle diese Dateitypen können über eine einzelne Schnittstelle analysiert werden, wodurch Tika für die Suchmaschinenindizierung, die Inhaltsanalyse, die Übersetzung und vieles mehr nützlich ist. Sie finden die neueste Version auf der Download -Seite. Weitere Informationen zur Verwendung von TIKA finden Sie auf der Seite "Erste Schritte".

Warum Tika als eigenständigen Service verwenden?

Es ist üblich, dass Elasticsearch -Implementierungen ein Plugin für Elasticsearch -Datei indexieren, anstatt einen Standing Alone -Service. Aktuelle Elasticsearch -Plugins sind ein Wrapper um Tika. (Die Solr -Suchmaschine verwendet auch Tika).
Die Verwendung von Tika als eigenständiger Dienst hat die folgenden Vorteile:

Kann die Dateiindexierung für Elasticsearch -Setups unterstützen, die keine Plugins von Dateiindizierung wie AWS unterstützen.
Es ist nicht erforderlich, das Setup oder Plugins basierend auf der Elasticsearch -Version zu ändern.
Sie können einen Tika -Service in mehreren Elasticsearch -Clustern teilen.
Kann TIKA auf einer dedizierten Infrastruktur ausführen, die nicht Teil Ihrer Suchknoten ist.
Dateien, die mit nativen Elasticsearch -Funktionen gespeichert sind, werden als separate Datensätze in Elasticsearch gespeichert. Diese sind von den restlichen Daten getrennt, die sich auf diese Datei beziehen.
Die Einnahme von Dateien mit nativen Elasticsearch -Funktionen ist sehr ineffizient. Dateien werden in der internen Datenbank der Elasticsearch als Base64 -codierte Zeichenfolgen gespeichert. Base64 nimmt durchschnittlich 30% mehr Platz als die ursprüngliche binäre. Dies gilt zusätzlich zu dem aus der Datei extrahierten Inhalt, der auch in Elasticsarch gespeichert ist.
In der Elasticsearch -Dokumentation heißt es auch:

Das Extrahieren von Inhalten aus binären Daten ist ein ressourcenintensiver Betrieb und verbraucht viele Ressourcen. Es wird dringend empfohlen, Pipelines mit diesem Prozessor in einem dedizierten Einnahmeknoten auszuführen.

Bilderkennung und Indizierung

Dieses Plugin kann die Amazon Web Services (AWS) [Rekognition Service (https://aws.amazon.com/rekognition/) verwenden, um den Inhalt von Bildern zu identifizieren. Der identifizierte Inhalt wird dann von Elasticsearch indexiert und kann in Moodle (cool huh?) Durchsucht werden.

Hinweis: Die Indizierung von Dateien nach Moodle's Core Global Search ist derzeit nur auf Indizierung von Dateien von einigen Stellen beschränkt. Der Tracker-Problem MDL-59459 wurde angehoben, um die Abdeckung der durch die globalen Suche indizierten Dateien zu erhöhen.

Derzeit die beste Ressource zum Testen der Bildsuche. Fügen Sie also ein Bild über die Moodle -Kursdatei -Ressource hinzu.

Aktivierung der Bilderkennung und Indizierung in Moodle

Sobald Sie Elasticsearch in AWS in AWS eingerichtet haben, muss Moodle für die Bilderkennung konfiguriert werden.
Angenommen, Sie haben bereits die grundlegenden Installationsschritte und die Dateiindizierungsschritte befolgt, um die Bilderkennung zu aktivieren:

Konfigurieren Sie das Elasticsearch -Plugin unter: Site -Administration> Plugins> Suche> Elastizität
Wählen Sie das Kontrollkästchen Bildunterzeichnung aktivieren .
Legen Sie die Schlüssel -ID , den geheimen Schlüssel und die Region Ihrer AWS -Anmeldeinformationen und Ihrer Rekognition -Region fest.
Klicken Sie auf die Schaltfläche "Änderungen speichern" .

Hinweis: Sie benötigen eine Reihe von AWS -API -Schlüssel für einen AWS -IAM -Benutzer mit vollständigen Rekognitions -Berechtigungen. Das Einrichten ist jenseits des Rahmens dieser Readme. Weitere Informationen finden Sie in der AWS -Dokumentation.

Anfragen unterschreiben

Amazon Web Services (AWS) bietet Elasticsearch als verwalteten Dienst an. Dies erleichtert die Bereitstellung und Verwaltung und Elasticsearch -Cluster.
Eine Art und Weise, wie Sie bei der Verwendung von AWS den Zugriff auf Ihre Daten in Elasticsearch sichern können, besteht darin, die Anfrage zu verwenden. Die Anfrageunterzeichnung ermöglicht es, nur gültige signierte Anfragen vom Elasticsearch -Endpunkt zu akzeptieren. Anfragen, die nicht signiert sind, sind nicht berechtigt, auf den Endpunkt zuzugreifen.

Aktivieren Sie die Anfrage zur Unterzeichnung von Support in Moodle

Sobald Sie Elasticsearch in AWS in AWS eingerichtet haben, muss Moodle für Anforderungsunterzeichnung konfiguriert werden.
Angenommen, Sie haben bereits die grundlegenden Installationsschritte befolgt, um die Anfrage zu aktivieren:

Konfigurieren Sie das Elasticsearch -Plugin unter: Site -Administration> Plugins> Suche> Elastizität
Wählen Sie das Kontrollkästchen Anforderungssignierung aktivieren .
Legen Sie die Schlüssel -ID , den geheimen Schlüssel und die Region Ihrer AWS -Anmeldeinformationen und der Elasticsearch -Region fest.
Klicken Sie auf die Schaltfläche "Änderungen speichern" .

Webservices

Dieses Plugin enthält zwei AJAX -fähige Webservices, mit denen Sie die globale Suche von Moodle in andere Systeme und Dienste integrieren können. Die beiden verfügbaren Webservices sind:

search_elastic_search - Gibt Suchergebnisse basierend auf der angegebenen Suchabfrage zurück.
Search_elastic_search_areas - Gibt die Suchbereich -IDs für jeden verfügbaren Suchbereich in Moodle zurück.

Die Einrichtung und Dokumentation dieser Dienste stimmt mit anderen Moodle Core -Webdiensten zusammen.

Dieses Plugin richtet einen vorkonfigurierten externen Dienst namens Search Service ein, wenn das Plugin installiert ist. Dieser Dienst fügt und ermöglicht die beiden von diesem Plugin bereitgestellten Webservice -Methoden.

Hinweis: Sie müssen globale Suche und dieses Plugin aktiviert und korrekt konfiguriert haben, bevor Sie die bereitgestellten Webdienste verwenden können.

Test -Setup

Um die PHP -Unit -Tests für dieses Plugin auszuführen, müssen Sie eine Elasticsearch -Instanz so einrichten und konfigurieren, wie die Instanzdetails an Moodle zu liefern. Sie müssen definieren:

Hostname: Der Name URL des Hosts Ihrer Elasticsearch -Instanz
Port: Der TCP -Port Der Host hört an
Index: Der Name des Index, der während der Tests verwendet wird. Hinweis: Stellen Sie sicher, dass sich dies von Ihrem Produktionsindex unterscheidet!

Setup über config.php einrichten

Um die erforderlichen Variablen über Ihre Moodle -Konfigurationsdatei zu definieren, fügen Sie Folgendes zu config.php hinzu:


define('TEST_SEARCH_ELASTIC_HOSTNAME', 'http://127.0.0.1');
define('TEST_SEARCH_ELASTIC_PORT', 9200);
define('TEST_SEARCH_ELASTIC_INDEX', 'moodle_test_2');

Einrichten über Umgebungsvariablen

Die erforderlichen Konfigurationsvariablen für Elasticserach -Instanz können auch als Umgebungsvariablen bereitgestellt werden. Um dies in der Befehlszeile der Linux zu tun:


export TEST_SEARCH_ELASTIC_HOSTNAME=http://127.0.0.1; export TEST_SEARCH_ELASTIC_PORT=9200; export TEST_SEARCH_ELASTIC_INDEX=moodle_test

Die Tests ausführen

Zuerst initialisieren Sie die Testumgebung aus dem Moodle Code Home -Verzeichnis: php admin/tool/phpunit/cli/init.php um nur diese Plugins -Tests auszuführen: vendor/bin/phpunit search_elastic_engine_testcase search/engine/elastic/tests/engine_test.php