Intelligent_Document_Finder

Pencari Dokumen Cerdas 2.0

Alat yang dapat menemukan dokumen apa pun menggunakan pencarian semantik .

Ini adalah versi improvisasi dari pencari-dokumen cerdas
Daftar fitur baru--

1. Skrip kesamaan dokumen yang diimplementasikan, yang memungkinkan Anda untuk melihat dokumen terkait atau paling mirip.
2. Situs web UI yang dirubah.
3. Mengurangi kompleksitas waktu fungsi pencarian.

Apa itu pencari dokumen yang cerdas?

Seberapa mudah Anda merasa mengingat lokasi yang tepat dari dokumen yang Anda buat tahun lalu? Tidak terlalu mudah, bukan? Organisasi besar/orang berurusan dengan ratusan dokumen setiap hari dan melupakannya, sebagian besar waktu.
Tetapi bagaimana jika kami menginginkan dokumentasi lama itu lagi untuk beberapa pekerjaan, tetapi sayangnya Anda tidak ingat nama atau konten aktual dari dokumen itu untuk mengambilnya dari penyimpanan besar komputer Anda.
Dalam kasus seperti itu, penggunaan pencari dokumen yang cerdas dapat benar -benar membuat perbedaan besar. As, dapat mencari dokumen ( semantically ) dari kebutuhan Anda berdasarkan input kueri. Ini tidak hanya akan membantu dalam akses yang lebih cepat ke dokumen, tetapi juga akan membantu dalam mengelompokkan dokumen serupa bersama -sama dan dalam menganalisisnya.

Tonton Demo Proyek:

Catatan

Saat ini repositri ini menggunakan database artikel berita yang telah ditentukan sebelumnya yang dikumpulkan oleh pengikisan web. Karena pembatasan GitHub untuk mengunggah file besar, kami tidak dapat mengunggahnya di sini.

Segera, kami akan menambahkan dukungan dari database dinamis, sehingga Anda dapat menggunakan alat ini untuk database Anda sendiri untuk membangun mesin pencari khusus Anda sendiri.

Teknologi digunakan

Python3.6 JavaScript jQuery HTML & CSS

Basis data yang digunakan:

Sqlite

Untuk menerapkan pencarian:

Berbagai teknik NLP (pemrosesan bahasa alami) digunakan.

Untuk situs web:

• Kerangka Web Berbasis Python: Flask
• Javascript
• jQuery

Aliran program

Kesesuaian

• Backend (AI Part) kompatibel pada mesin apa pun yang memiliki Python dan dependensi yang diperlukan.
• Browser yang disarankan: Mozilla Firefox dan Google Chrome.

Bagaimana cara menginstal dan menggunakan?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

Pasang lingkungan vital jika tidak terpasang

• Di linux/macos > python3 -m pip install --user virtualenv
• Di windows > py -m pip install --user virtualenv

Menciptakan lingkungan virtual

• Di macOS dan linux: > python3 -m venv env
• Di windows: > py -m venv env

Aktifkan Lingkungan:

• Di macOS dan linux: > source env/bin/activate
• Di Windows: > .envScriptsactivate

> pip install -r requirements.txt

Unduh Embeddings Word Sarung Tangan Dari Tautan Ini, Decompress IT dan Salin File glove.6B.100d di Folder DataBase

Kemudian, jalankan initial_file.py melalui perintah ini > python initial_file.py

Sekarang Anda baik untuk pergi .. cukup ketik perintah ini setiap kali Anda ingin mengaksesnya, dan buka situs web di Chrome/Firefox
> python src/app.py

Pengembang

Anda dapat menghubungi kami di Profil Linkedln

Sarthak Jain Machine Learning NLP Web Crawling

Anda juga dapat mengikuti saya di GitHub untuk tetap diperbarui tentang proyek terbaru saya

Pengembang web rishabh mishra Full Stack Web Developer

Anda juga dapat mengikuti saya di GitHub untuk tetap diperbarui tentang proyek terbaru saya

Jika Anda menyukai repositori ini, maka dukung dengan memberikannya bintang

Kontribusi

Jika Anda menemukan bug atau memiliki saran untuk meningkatkan proyek ini, maka jangan ragu untuk menghasilkan permintaan tarik.

Ada banyak fitur yang dapat ditambahkan ke alat ini.

1. Segmentasi permintaan
2. Ekspansi kueri (terutama - Teknik Umpan Balik Relevansi Pseudo )
3. Mengimprovisasi pemeriksa ejaan
4. Collocations misalnya- Saat ini proyek ini mempertimbangkan "New York" sebagai ["baru", "York"] yaitu dua kata yang berbeda tetapi harus dianggap sebagai entitas tunggal seperti ["new_york"], ini pasti dapat membuat perbedaan besar dalam hasil pencarian.
5. Log kueri (teknik perubahan game untuk mesin pencari)
6. Segmentasi Hasil Pencarian [Like-Luecene]

Jika Anda memiliki pengalaman dalam mengimplementasikan salah satu fitur ini maka, do contribue .

Referensi

1. Artikel Awsome dari Algoritma Peringkat BM25 di Wikipedia - Okapi BM25

2. Baca artikel ini tentang pemodelan topik

3. Benar -benar mengikuti artikel indah ini tentang penandaan SVOS untuk menghasilkan tag untuk proyek ini.

4. Menggunakan implementasi peringkat peringkat BM25 dari gudang hebat ini di GitHub oleh dorianbrown .