download moodle search_elastic - download kode sumber moodle search

moodle search_elastic

Kode sumber lainnya

2023011200

Unduh

Pencarian Global Moodle - Backend Elasticsearch

Plugin ini memungkinkan Moodle untuk menggunakan Elasticsearch sebagai mesin pencari untuk pencarian global Moodle.

Fitur berikut disediakan oleh plugin ini:

Beberapa versi elasticsearch
Pengindeksan file
Permintaan penandatanganan, kompatibel dengan Amazon Web Services (AWS)
Menghormati pengaturan proxy moodle
Pengenalan dan pengindeksan gambar (melalui layanan eksternal)

Versi Moodle yang didukung

Plugin ini saat ini mendukung Moodle:

Versi Moodle	Cabang
Moodle 4.4 ke atas	Moodle_404_stable
Moodle 4.2 hingga 4.3	Moodle_402_stable
Moodle 3.10 hingga 4.1	Moodle_310_stable
Moodle 3.5 hingga 3.9	menguasai

Dukungan Versi Elasticsearch

Saat ini, plugin ini diuji untuk bekerja terhadap versi Elasticsearch berikut:

5.5.0
6.4.1
6.6.1
7.17.9
8.5.3

Dan versi OpenSearch berikut:

2.4.1

Platform Terverifikasi

Plugin ini telah diuji untuk bekerja pada platform cloud berikut:

Microsoft Azure
Amazon WebServices (AWS)
Awan elastis

Pengaturan Generik Elasticsearch

Untuk menggunakan plugin ini terlebih dahulu, Anda perlu menyiapkan layanan ELATICSEARCH.

Berikut ini adalah minimum untuk membuat Elasticsearch bekerja di lingkungan sistem operasi Debian/Ubuntu. Konsultasikan dengan dokumen Elasticsearch untuk instruksi mendalam, atau untuk perincian tentang cara menginstal pada sistem operasi lainnya.

CATATAN: Instruksi di bawah ini hanya boleh digunakan untuk tujuan pengujian dan dev. Jangan lakukan ini dalam produksi. Untuk pengaturan produksi, kami merekomendasikan Elasticsearch berjalan sebagai cluster, memulai dokumentasi dapat ditemukan di sini: https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html

Elasticsearch mengharuskan Java sebagai prasyarat, untuk menginstal Java:

sudo apt-get install default-jre default-jdk

Setelah Java diinstal, perintah berikut akan menginstal dan memulai Elasticsearch.

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.1.deb
sudo dpkg -i elasticsearch-6.6.1.deb
sudo update-rc.d elasticsearch defaults
sudo service elasticsearch start

Tes cepat dapat dilakukan dengan menjalankan yang berikut dari baris perintah.

 curl -X GET 'http://localhost:9200'

Output seharusnya terlihat seperti:

{
  "name" : " 1QHLiux " ,
  "cluster_name" : " elasticsearch " ,
  "cluster_uuid" : " mLRqIsnVRrGdgg2OfHWNrg " ,
  "version" : {
    "number" : " 5.1.2 " ,
    "build_hash" : " c8c4c16 " ,
    "build_date" : " 2017-01-11T20:18:39.146Z " ,
    "build_snapshot" : false ,
    "lucene_version" : " 6.3.0 "
  },
  "tagline" : " You Know, for Search "
}

Secara default Layanan Elasticsearch tersedia di: http://localhost:9200

Buruh pelabuhan

Anda juga dapat menjalankan Elasticsearch dengan Docker. Proyek ini menerbitkan wadah resmi untuk versi yang didukung dengan instruksi.

Pengaturan Azure Elasticsearch

Untuk menggunakan plugin ini terlebih dahulu, Anda perlu menyiapkan layanan ELATICSEARCH.

Untuk menggunakan Microsoft Azure untuk menyediakan layanan Elasticsearch untuk Moodle:

Buat Akun Microsoft Azure: Halaman Pembuatan Akun
Buat Mesin Virtual Linux dan Hubungkan ke Mesin Virtual: Panduan Pengaturan Mesin Virtual Azure Linux
Siapkan Layanan Elasticsearch:

Elasticsearch mengharuskan Java sebagai prasyarat, untuk menginstal Java:


sudo apt-get install default-jre default-jdk

Setelah Java diinstal, perintah berikut akan menginstal dan memulai Elasticsearch.


wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.deb
sudo dpkg -i elasticsearch-5.5.0.deb
sudo update-rc.d elasticsearch defaults
sudo service elasticsearch start

Tes cepat dapat dilakukan dengan menjalankan yang berikut dari baris perintah.


curl -X GET 'http://localhost:9200'

Output seharusnya terlihat seperti:


{
  "name" : "1QHLiux",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "mLRqIsnVRrGdgg2OfHWNrg",
  "version" : {
    "number" : "5.1.2",
    "build_hash" : "c8c4c16",
    "build_date" : "2017-01-11T20:18:39.146Z",
    "build_snapshot" : false,
    "lucene_version" : "6.3.0"
  },
  "tagline" : "You Know, for Search"
}

Pengaturan AWS Elasticsearch

Untuk menggunakan plugin ini terlebih dahulu, Anda perlu menyiapkan layanan ELATICSEARCH.

Untuk menggunakan Amazon WebServices (AWS) untuk menyediakan layanan Elasticsearch untuk Moodle:

Buat akun AWS: Panduan Pembuatan Akun
Mengatur Layanan Elasticsearch: Panduan Pengaturan AWS Elasticsearch

Pengaturan awan elastis

Untuk menggunakan elastis elastis untuk menyediakan layanan Elasticsearch untuk Moodle:

Buat akun cloud elastis dan siapkan Elasticsearch: Elasticsearch: Memulai
Hasilkan tombol API untuk indeks pencarian Anda dan atur kunci ini ke pengaturan plugin Moodle.

Instalasi plugin Moodle

Setelah Anda mengatur layanan Elasticsearch, Anda sekarang dapat menginstal plugin Moodle.

Langkah -langkah pengaturan ini sama terlepas dari bagaimana Anda telah mengatur layanan Elasticsearch.

Dapatkan Kode dan Salin/Instal ke: <moodledir>/search/engine/elastic
Jalankan upgrade: sudo -u www-data php admin/cli/upgrade Catatan: Pengguna mungkin berbeda dengan www-data pada sistem Anda.

Pengaturan Plugin Moodle

Setelah Anda mengatur layanan Elasticsearch, Anda sekarang dapat mengkonfigurasi plugin Moodle.

Langkah -langkah pengaturan ini sama terlepas dari bagaimana Anda telah mengatur layanan Elasticsearch.

Masuk ke Moodle sebagai Administrator
Atur plugin dalam administrasi situs> plugin> pencarian> Kelola pencarian global dengan memilih elastis sebagai mesin pencari.
Konfigurasikan plugin Elasticsearch di: Administrasi Situs> Plugin> Pencarian> Elastis
Setel nama host dan port dari server Elasticsearch Anda
Secara opsional, ubah variabel ukuran permintaan . Umumnya ini bisa dibiarkan apa adanya. Beberapa penyedia Elasticsearch seperti AWS memiliki batasan seberapa besar muatan HTTP. Oleh karena itu kami membatasi ukuran dalam byte.
Secara opsional, atur tombol API sebagai beberapa platform cloud (misalnya elastis elastis) menggunakannya untuk mengesahkan permintaan HTTP.
Untuk membuat indeks dan mengisi Elasticsearch dengan data situs Anda, jalankan skrip CLI ini. sudo -u www-data php search/cli/indexer.php --force
Aktifkan Pencarian Global dalam Administrasi Situs> Fitur Lanjutan

Dukungan pengindeksan file

Plugin ini menggunakan Apache Tika untuk dukungan pengindeksan file. Tika parses file, mengekstrak teks, dan mengembalikannya melalui API REST.

Saat ini plugin ini diuji untuk bekerja terhadap versi Tika berikut:

1.16
1.28
2.5.0
2.8.0

Pengaturan Tika

Menyiapkan Layanan Uji Tika lurus ke depan. Dalam kebanyakan kasus di lingkungan Linux, Anda dapat mengunduh Java Jar kemudian menjalankan layanan.


wget http://apache.mirror.amaze.com.au/tika/tika-server-1.16.jar
java -jar tika-server-1.16.jar

Ini akan memulai Tika pada tuan rumah. Secara default Layanan Tika tersedia di: http://localhost:9998

Mengaktifkan dukungan pengindeksan file di Moodle

Setelah layanan TIKA tersedia, plugin Elasticsearch di Moodle perlu dikonfigurasi untuk dukungan pengindeksan file.
Dengan asumsi Anda telah mengikuti langkah -langkah instalasi dasar, untuk mengaktifkan dukungan pengindeksan file:

Konfigurasikan plugin Elasticsearch di: Administrasi Situs> Plugin> Pencarian> Elastis
Pilih kotak centang Aktifkan File Indexing .
Atur nama host Tika dan pelabuhan Tika dari layanan Tika Anda. Jika Anda mengikuti instruksi pengaturan Tika dasar, default seharusnya tidak perlu berubah.
Klik tombol Simpan Perubahan .

Apa itu Tika

Dari situs web Apache Tika:

Toolkit Apache Tika ™ mendeteksi dan mengekstrak metadata dan teks dari lebih dari seribu jenis file yang berbeda (seperti PPT, XLS, dan PDF). Semua jenis file ini dapat diuraikan melalui antarmuka tunggal, membuat Tika berguna untuk pengindeksan mesin pencari, analisis konten, terjemahan, dan banyak lagi. Anda dapat menemukan rilis terbaru di halaman unduhan. Silakan lihat halaman memulai untuk informasi lebih lanjut tentang cara mulai menggunakan Tika.

Mengapa menggunakan Tika sebagai layanan yang berdiri sendiri?

Adalah umum untuk melihat implementasi Elasticsearch menggunakan plugin pengindeksan file Elasticsearch daripada layanan yang berdiri sendiri. Plugin Elasticsearch saat ini adalah pembungkus di sekitar Tika. (Mesin pencari Solr juga menggunakan Tika).
Menggunakan Tika sebagai layanan mandiri memiliki keunggulan berikut:

Dapat mendukung pengindeksan file untuk pengaturan Elasticsearch yang tidak mendukung plugin pengindeksan file seperti AWS.
Tidak perlu mengubah pengaturan atau plugin berdasarkan versi Elasticsearch.
Anda dapat berbagi satu layanan Tika di berbagai kelompok Elasticsearch.
Dapat menjalankan Tika pada infrastruktur khusus yang bukan bagian dari node pencarian Anda.
File yang disimpan menggunakan fungsionalitas Native Elasticsearch disimpan sebagai catatan terpisah di dalam Elasticsearch, ini terpisah dengan sisa data yang disimpan terkait dengan file itu.
Menarik file menggunakan fungsionalitas penelitian elastis asli sangat tidak efisien. File disimpan dalam database internal Elasticsearch sebagai string yang dikodekan Base64. BASE64 rata -rata memakan waktu 30% lebih banyak daripada biner asli. Ini merupakan tambahan dari konten yang diekstraksi dari file yang juga disimpan di Elasticsearch.
Dokumentasi Elasticsearch juga menyatakan:

Mengekstraksi konten dari data biner adalah operasi intensif sumber daya dan mengkonsumsi banyak sumber daya. Sangat disarankan untuk menjalankan jalur pipa menggunakan prosesor ini dalam node konstan khusus.

Pengenalan gambar dan pengindeksan

Plugin ini dapat menggunakan Amazon Web Services (AWS) [Layanan Rekognition (https://aws.amazon.com/rekognition/) untuk mengidentifikasi konten gambar. Konten yang diidentifikasi kemudian diindeks oleh Elasticsearch dan dapat dicari di Moodle (keren ya?).

Catatan: Pengindeksan file oleh pencarian inti Global Moodle saat ini terbatas hanya untuk mengindeks file dari beberapa tempat. Masalah pelacak MDL-59459 telah dinaikkan untuk meningkatkan cakupan file yang diindeks oleh pencarian global.

Saat ini sumber daya terbaik untuk digunakan untuk menguji fungsionalitas pencarian gambar, jadi tambahkan gambar melalui sumber daya file kursus Moodle.

Mengaktifkan pengenalan gambar dan dukungan pengindeksan di Moodle

Setelah Anda menyiapkan Elasticsearch di AWS Moodle perlu dikonfigurasi untuk pengenalan gambar.
Dengan asumsi Anda telah mengikuti langkah -langkah instalasi dasar dan langkah -langkah pengindeksan file, untuk mengaktifkan pengenalan gambar:

Konfigurasikan plugin Elasticsearch di: Administrasi Situs> Plugin> Pencarian> Elastis
Pilih kotak centang Aktifkan Gambar Penandatanganan .
Atur ID Kunci , Kunci Rahasia , dan Wilayah Kredensial AWS dan Wilayah Rekognisi Anda.
Klik tombol Simpan Perubahan .

Catatan: Anda akan memerlukan satu set kunci API AWS untuk pengguna AWS IAM dengan izin Rekognisi penuh. Menyiapkan ini berada di luar ruang lingkup readme ini. Untuk informasi lebih lanjut, lihat dokumentasi AWS.

Meminta penandatanganan

Amazon Web Services (AWS) memberikan Elasticsearch sebagai layanan yang dikelola. Ini membuatnya mudah untuk menyediakan dan mengelola dan mengelompokkan elastis.
Salah satu cara Anda dapat mengamankan akses ke data Anda di Elasticsearch saat menggunakan AWS adalah dengan menggunakan penandatanganan permintaan. Penandatanganan Permintaan hanya memungkinkan permintaan yang ditandatangani valid untuk diterima oleh titik akhir Elasticsearch. Permintaan yang tidak ditandatangani tidak berwenang untuk mengakses titik akhir.

Mengaktifkan Dukungan Penandatanganan Permintaan di Moodle

Setelah Anda menyiapkan Elasticsearch di AWS Moodle perlu dikonfigurasi untuk penandatanganan permintaan.
Dengan asumsi Anda telah mengikuti langkah -langkah instalasi dasar, untuk mengaktifkan penandatanganan permintaan:

Konfigurasikan plugin Elasticsearch di: Administrasi Situs> Plugin> Pencarian> Elastis
Pilih kotak centang Aktifkan Permintaan Penandatanganan .
Atur ID Kunci , Kunci Rahasia dan Wilayah Kredensial AWS dan Wilayah Penelitian Elastics Anda.
Klik tombol Simpan Perubahan .

Layanan web

Plugin ini memperlihatkan dua layanan web yang diaktifkan AJAX, untuk memungkinkan Anda mengintegrasikan pencarian global Moodle dengan sistem dan layanan lain. Dua layanan web yang tersedia adalah:

search_elastic_search - Mengembalikan hasil pencarian berdasarkan kueri pencarian yang disediakan.
search_elastic_search_areas - Mengembalikan ID Area Pencarian untuk setiap area pencarian yang tersedia di Moodle.

Pengaturan dan dokumentasi layanan ini berkaitan dengan layanan Web Core Moodle lainnya.

Plugin ini mengatur layanan eksternal yang dikonfigurasi sebelumnya yang disebut layanan pencarian saat plugin diinstal. Layanan ini menambah dan memungkinkan dua metode layanan web yang disediakan oleh plugin ini.

Catatan: Anda harus melakukan pencarian global dan plugin ini diaktifkan dan dikonfigurasi dengan benar sebelum Anda dapat menggunakan layanan web yang disediakan.

Pengaturan tes

Untuk menjalankan tes unit PHP untuk plugin ini, Anda perlu mengatur dan mengonfigurasi instance Elasticsearch seperti yang akan memasok detail instance ke Moodle. Anda perlu mendefinisikan:

Nama Host: Nama URL dari Host dari Elasticsearch Anda
Port: Port TCP Host mendengarkan
Indeks: Nama indeks yang akan digunakan selama pengujian. Catatan: Pastikan ini berbeda dari indeks produksi Anda!

Pengaturan melalui config.php

Untuk menentukan variabel yang diperlukan melalui file konfigurasi moodle Anda, tambahkan yang berikut ini ke config.php :


define('TEST_SEARCH_ELASTIC_HOSTNAME', 'http://127.0.0.1');
define('TEST_SEARCH_ELASTIC_PORT', 9200);
define('TEST_SEARCH_ELASTIC_INDEX', 'moodle_test_2');

Pengaturan melalui Variabel Lingkungan

Variabel konfigurasi instance Elasticserach yang diperlukan juga dapat disediakan sebagai variabel lingkungan. Untuk melakukan ini di baris perintah Linux:


export TEST_SEARCH_ELASTIC_HOSTNAME=http://127.0.0.1; export TEST_SEARCH_ELASTIC_PORT=9200; export TEST_SEARCH_ELASTIC_INDEX=moodle_test

Menjalankan tes

Pertama inisialisasi lingkungan uji, dari Direktori Home Kode Moodle: php admin/tool/phpunit/cli/init.php untuk menjalankan hanya tes plugin ini: vendor/bin/phpunit search_elastic_engine_testcase search/engine/elastic/tests/engine_test.php