Intelligent_Document_Finder

Finder Document Adtricent 2.0

A tool which can find your any document using semantic search .

هذه نسخة مرتجلة من الحشوة الذكية
قائمة الميزات الجديدة-

1. البرنامج النصي الذي تم تنفيذه وثيقة تشابه ، والذي يتيح لك رؤية المستندات ذات الصلة أو الأكثر مماثلة.
2. تم تجديد موقع واجهة المستخدم.
3. يقلل من التعقيدات الزمنية لوظائف البحث.

ما هو الباحث عن المستندات الذكية؟

ما مدى سهولة العثور عليها لتذكر الموقع الدقيق لمستند قمت بإنشائه العام الماضي؟ ليس من السهل جدا ، أليس كذلك؟ تتعامل المنظمات/الأشخاص الكبرى مع مئات الوثائق يوميًا ونسيانها ، معظم الوقت.
ولكن ماذا لو كنا نريد هذه الوثائق القديمة مرة أخرى لبعض الأعمال ، لكن للأسف لا تتذكر الاسم أو المحتوى الفعلي لهذا المستند لاسترداده من التخزين الكبير لجهاز الكمبيوتر الخاص بك.
In such cases, use of a Intelligent document finder can really make a huge difference. As, it can Search for the document( semantically ) of your need based on a query input. لن يساعد هذا فقط في الوصول بشكل أسرع إلى المستند ، ولكنه سيساعد أيضًا في تجميع مستندات مماثلة معًا في تحليلها.

شاهد عرض المشروع:

ملحوظة

يستخدم هذا المستودع حاليًا قاعدة بيانات محددة مسبقًا للمقالات الإخبارية التي تم جمعها عن طريق تجريف الويب. نظرًا لقيود GitHub على تحميل الملفات الكبيرة ، لا يمكننا تحميلها هنا.

قريباً ، سنضيف دعم قواعد البيانات الديناميكية ، بحيث يمكنك استخدام هذه الأداة لقواعد البيانات الخاصة بك لإنشاء محرك البحث المخصص الخاص بك.

التقنيات المستخدمة

Python3.6 JavaScript jQuery HTML & CSS

قاعدة البيانات المستخدمة:

sqlite

لتنفيذ البحث:

يتم استخدام العديد من تقنيات NLP (معالجة اللغة الطبيعية).

للموقع:

• إطار الويب القائم على بيثون: قارورة
• جافا سكريبت
• jQuery

تدفق البرنامج

التوافق

• الواجهة الخلفية (جزء من AI) متوافق مع أي جهاز يحتوي على بيثون وتثبيت التبعيات المطلوبة.
• المتصفحات الموصى بها: موزيلا فايرفوكس وجوجل كروم.

كيفية تثبيت واستخدام؟

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

تثبيت بيئة حيوية إذا لم يتم تثبيتها

• On Linux/MacOs > python3 -m pip install --user virtualenv
• On windows > py -m pip install --user virtualenv

إنشاء بيئة افتراضية

• On macOS and Linux: > python3 -m venv env
• On Windows: > py -m venv env

تنشيط البيئة:

• On macOS and Linux: > source env/bin/activate
• On Windows: > .envScriptsactivate

> pip install -r requirements.txt

Download Glove Word Embeddings from this link, decompress it and copy the glove.6B.100d file in DataBase folder

then, run initial_file.py through this command > python initial_file.py

أنت الآن على ما يرام .. فقط اكتب هذا الأمر في كل مرة تريد الوصول إليها ، وفتح موقع الويب في Chrome/Firefox
> python src/app.py

المطورين

يمكنك التواصل معنا على ملفات تعريف Linkedln

Sarthak Jain Machine Learning NLP Web Crawling

يمكنك أيضًا متابعتي على Github للبقاء محدثًا حول أحدث مشاريعي

Rishabh Mishra Full Stack Web Developer

يمكنك أيضًا متابعتي على Github للبقاء محدثًا حول أحدث مشاريعي

If you liked this repository, then do support it by giving it a star

مساهمات

إذا وجدت أي خطأ أو لديك أي اقتراحات لتحسين هذا المشروع ، فلا تتردد في إنشاء طلب سحب.

هناك الكثير من الميزات التي يمكن إضافتها إلى هذه الأداة.

1. تجزئة الاستعلام
2. Query Expansion (Mainly - Pseudo Relevance Feedback technique )
3. الارتجال المدقق الإملائي
4. Collocations For example- Currently this project consider "New York" as ["New","York"] ie two different words but it should be consider as a single entity like ["New_York"], this can definitely make a big difference in search results.
5. سجلات الاستعلام (تقنية تغيير اللعبة لمحركات البحث)
6. Search result's segmentation [like- Luecene]

If you have any experience in implementing any of these features then, do contribue .

مراجع

1. مقال رائع من خوارزمية الترتيب BM25 على ويكيبيديا - OKAPI BM25

2. اقرأ هذا المقال حول نمذجة الموضوع

3. اتبعت تمامًا هذه المقالة الجميلة على وضع علامة SVOS لإنشاء علامات لهذا المشروع.

4. Used the BM25 ranking fuction implementation from this great repositry on github by dorianbrown .