quranic search v2 Unduh - quranic search v2 Sumber Code Unduh

quranic search v2

Kode sumber lainnya

1.0.0

Unduh

Pencarian Leksikal/Semantik Quran

Aplikasi Web Berbasis Pembelajaran Mesin dari Pengambilan Informasi dari Al -Quran Menggunakan NLP

Daftar isi

Tentang proyek
- Tangkapan layar
- Apa itu pencarian Quran
- Mengapa pencarian Quran
  - Masalah dengan pencarian leksikal tradisional
  - Solusi dengan pencarian semantik
  - Fitur
- Bagaimana pencarian quran bekerja
- Tumpukan dan alat teknologi
Struktur Direktori Kode Sumber
Memulai
- Prasyarat
- Jalankan untuk pengembangan
Lisensi

? Tentang proyek

Mengambil informasi dari Al -Quran adalah bidang penting bagi para sarjana Quran, peneliti Muslim, dan penggemar Arab secara umum. Ada dua jenis teknik pencarian Quran yang populer: leksikal atau berbasis kata kunci dan semantik atau berbasis konsep yang merupakan tugas yang menantang, terutama dalam korpus yang kompleks seperti Al-Quran. Quranic Search adalah singkatan dari pencarian leksikal dan semantik dalam Al -Quran.

? Tangkapan layar

? Apa itu pencarian Quran

Pencarian Quran dikembangkan untuk membantu semua orang, terutama umat Islam untuk berurusan dengan Al -Quran yang lebih mudah dan lebih cepat, memungkinkan mereka untuk mencari dalam Quran untuk ayat -ayat tertentu, dengan kata kunci atau topik konseptual.

? Mengapa pencarian Quran

Al -Quran dianggap sebagai referensi utama sekitar 1,6 miliar Muslim di seluruh dunia dan sebagai sumber daya utama untuk bahasa Arab klasik. Muslim, serta non-Muslim, perlu mencari informasi tertentu dari Al-Quran atau mengambil ayat-ayat yang membahas topik tertentu, memiliki berbagai topik untuk dibahas, misalnya; Etika, hukum Islam, hukum perkawinan dan keluarga, transaksi moneter, moral, dan hubungan antara Islam/Muslim dan agama -agama dunia lainnya.

? Masalah dengan pencarian leksikal tradisional

Hasil yang tidak lengkap menggunakan kata-kata kunci
Pencarian leksikal tidak didasarkan pada arti kueri pencarian

? Solusi dengan pencarian semantik

Ayat yang relevan berdasarkan makna, meningkatkan keakuratan pencarian
Peringkat terbaik dari ayat -ayat yang paling mirip, berdasarkan representasi penyematan kata

? Fitur

Berbasis Pemrosesan Bahasa Alami
Menampilkan 50 hasil pertama berdasarkan peringkat terbaik
Menggunakan model Word2Vec pra-terlatih terbaik
Membangun Model Embedding Kalimat Berdasarkan Word2Vec (Arsitektur CBOW)
Menggunakan metode yang berbeda untuk mewakili vektor kalimat
- Skor kesamaan maks antara dua kata (kata dalam kueri dan kata dalam ayat)
- Skor frekuensi maks dari kesamaan spesifik (0,3) antara dua kata
- Skor kesamaan rata -rata antara dua kata
- Pooling; Pooling Max dan Pooling Rata -Rata
Preprocessing kueri dilakukan berdasarkan preprocessing pelatihan model untuk mencari perbandingan vektor terbaik
Bekerja terlebih dahulu pada level kata tunggal
- Kemudian kami mengulangi seluruh permintaan dan kalimat, memaksimalkan semua kata ayat dengan hasilnya dengan menyimpulkan hasil metode untuk setiap dua kata (dalam kueri dan ayat), untuk akhirnya membandingkan dengan seluruh dokumen teks Quran suci.
Menggabungkan hasil metode dan model untuk mendapatkan hasil terbaik
Cepat dengan biaya rendah, tidak seperti menggunakan Transformers
Open-source

? Bagaimana pencarian quran bekerja

Saat Anda melakukan pencarian leksikal:

Pencarian Leksikal Django API Berinteraksi dengan React UI
Ayat diambil berdasarkan urutan kata kunci menggunakan API pencarian leksikal
Ayat ditampilkan di halaman hasil secara leksikografis dengan nomor surah dan nomor ayat di Surah

Saat Anda melakukan pencarian semantik:

API pencarian semantik berinteraksi dengan UI
ID ayat diambil berdasarkan makna/topik kata -kata menggunakan API pencarian semantik
Satu set model pra-terlatih Word2Vec digunakan untuk mendapatkan kata vektor dari kata-kata ayat dan pertanyaan pencarian
Komputasi kalimat vektor dilakukan dengan menggunakan beberapa metode
- Menggabungkan hasil semua metode oleh semua model
Ayat diambil berdasarkan skor kesamaan antara kueri dan ayat
Jarak komputasi dengan kemiripan kosinus untuk mengambil ayat yang paling mirip
Semua alat peraga dibawa dari API pencarian leksikal

Tumpukan dan alat teknologi

Alat yang digunakan dalam proyek ini.

	Alat	Keterangan
	Kode Studio Visual	Ide
	React.js	Kerangka kerja frontend
	Django	Kerangka Backend Pencarian Leksikal
	Labu	Kerangka Backend API Pencarian Semantik
	Gensim	Pemodelan Topik (Word2Vec, KeyedVectors)
	Sqlite3	Untuk database Quran Suci

? Struktur Direktori Kode Sumber

quranic-search-v2
├── README.md                                   < - This top-level README for this project
├── LICENSE
├── assets
│   ├── screenshots                             < - Screenshots from the project
│   └── tools                                   < - Used tools in the project
├── backend                                     
│   ├── api
│   │   ├── lexical
│   │   │   ├── api/                            < - Lexical Django project with settings
│   │   │   ├── db/                             < - Used databases in the project
│   │   │   ├── search/                         < - Search application (static, templates, models, serializers, urls, views, tests, ..etc) 
│   │   │   ├── db.sqlite3                      < - Migrated database
│   │   │   ├── manage.py                       < - A command-line utility to interact with this Django project 
│   │   │   └── requirements.txt                < - All needed for installing the lexical search API
│   │   └── semantic
│   │       ├── data                    
│   │       │   ├── external/                   < - Data from third-party sources
│   │       │   └── processed/                  < - The final, canonical data sets for modeling
│   │       ├── models/                         < - Trained and serialized models, model predictions, or model summaries
│   │       ├── notebooks/                      < - All Jupyter notebooks
│   │       ├── src                             < - Source code for use in this project
│   │       │   ├── __init__.py                 < - Makes src a Python module
│   │       │   └── models                      < - Scripts to train models and then use trained models to make predictions
│   │       │       ├── pooling.py              < - Pooling algorithms for sentence embeddings
│   │       │       ├── predict.py              < - Resources of the semantic search API
│   │       │       ├── preprocess.py           < - The frequent preprocessing methods 
│   │       │       └── semantic_methods.py     < - The semantic (word/sentence) search methods
│   │       ├── app.py                          < - The Flask application (entry point)
│   │       └── requirements.txt                < - All needed for installing the semantic search API
│   └── run.sh                                  < - Bootstrapping script to run the APIs
├── frontend
│   ├── node_modules                            < - Node.js modules
│   ├── public                                  
│   │   ├── fonts                               < - Fonts used in the project
│   │   │   ├── amiri/ 
│   │   │   └── kufi/ 
│   │   ├── images
│   │   │   └── quran-logo.png 
│   │   ├── 404.html 
│   │   ├── index.html 
│   │   ├── manifest.json
│   │   └── robots.txt  
│   ├── src
│   │   ├── components                          < - React components
│   │   │   ├── HomeForm  
│   │   │   │   ├── HomeForm.css  
│   │   │   │   └── HomeForm.js  
│   │   │   ├── Navbar/
│   │   │   ├── ResultsForm/
│   │   │   └── Verse/
│   │   ├── containers                          < - React containers/pages
│   │   │   ├── About
│   │   │   │   ├── About.css  
│   │   │   │   └── About.js  
│   │   │   ├── Bookmarks/
│   │   │   ├── Home/
│   │   │   └── Results/
│   │   ├── App.css                             < - CSS for the application
│   │   ├── App.js                              < - The application file
│   │   ├── App.test.js                         < - The application file for testing
│   │   ├── index.css                           < - CSS for the root (entire application)
│   │   ├── index.js                            < - The root application file
│   │   ├── reportWebVitals.js                  < - WebVitals reporting script
│   │   └── setupTests.js                       < - Setup script for testing
│   ├── package-lock.json                       < - Used to install dependencies
│   └── package.json                            < - Used to install dependencies
├── .github  
│   └── workflows                               < - GitHub Actions workflows
│       ├── django.yml
│       └── node.js.yml
└── .gitignore

? ‍♂️ Memulai

? Prasyarat

Proyek ini menggunakan beberapa model pra-terlatih, selain persyaratan untuk dijalankan (backend/frontend). Anda dapat mulai dengan menggunakan skrip helper untuk mengunduh model lampu dan menginstal semua persyaratan, sebelum menjalankan:

sh scripts/start.sh

? Jalankan untuk pengembangan

Kloning repositori ini

git clone https://github.com/ahr9n/quranic-search-v2.git
cd quranic-search-v2

? Semua perintah harus dieksekusi dalam akar proyek.

Jalankan Semua Layanan (API Leksikal, API Semantik, lalu Frontend)

sh scripts/run.sh

Arahkan ke http://localhost:3000

? Sekarang Anda baik untuk pergi!

? Perhatikan bahwa semua server harus berjalan di latar belakang menggunakan skrip, sehingga Anda dapat menutup semuanya menggunakan perintah berikut: