Intelligent_Document_Finder

Интеллектуальный документ Finder 2.0

Инструмент, который может найти любой документ, используя семантический поиск .

Это импровизированная версия интеллектуального документирования
Список новых функций-

1. Реализованный скрипт сходства документов, который позволяет видеть связанные или наиболее похожие документы.
2. Обновленный веб -сайт пользовательский интерфейс.
3. Уменьшает временные сложности функций поиска.

Что такое интеллектуальное искатель документов?

Насколько легко вы обнаружите, что это запомнить точное местоположение документа, который вы создали в прошлом году? Не очень легко, верно? Крупные организации/люди ежедневно имеют дело с сотнями документов и забывают о них большую часть времени.
Но что, если мы снова хотим эту старую документацию для некоторой работы, но, к сожалению, вы не помните имя или фактическое содержание этого документа, чтобы извлечь его из большого хранения вашего компьютера.
В таких случаях использование интеллектуального искателя документов может действительно иметь огромное значение. Как, он может искать документ ( semantically ) ваших потребностей на основе ввода запроса. Это не только поможет в более быстром доступе к документу, но также поможет в группировании аналогичных документов вместе и в их анализе.

Смотреть демо проекта:

Примечание

В настоящее время это хранилище использует предопределенную базу данных новостных статей, собравшихся с помощью Web Scraping. Из -за ограничений GitHub при загрузке больших файлов мы не можем загрузить его здесь.

Вскоре мы добавим поддержку динамических баз данных, чтобы вы могли использовать этот инструмент для ваших собственных баз данных для создания собственной поисковой системы.

Технологии используются

Python3.6 JavaScript jQuery HTML & CSS

Используется база данных:

SQLite

Для реализации поиска:

Используются различные методы NLP (обработка естественного языка).

Для веб -сайта:

• Веб-фреймворк на основе Python: колба
• JavaScript
• jQuery

Программа поток

Совместимость

• Бэкэнд (AI Part) совместим на любой машине, у которой есть Python и необходимые зависимости.
• Рекомендуемые браузеры: Mozilla Firefox и Google Chrome.

Как установить и использовать?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

Установите Vitual Environment, если не установлена

• На Linux/macOS > python3 -m pip install --user virtualenv
• В Windows > py -m pip install --user virtualenv

Создать виртуальную среду

• На macos и linux: > python3 -m venv env
• В Windows: > py -m venv env

Активировать среду:

• На MacOS и Linux: > source env/bin/activate
• В Windows: > .envScriptsactivate

> pip install -r requirements.txt

Скачать glove Word Enterdings из этой ссылки, распаковывать его и скопировать glove.6B.100d в папке DataBase

Затем запустите initial_file.py через эту команду > python initial_file.py

Теперь вы готовы идти .. просто введите эту команду каждый раз, когда вы хотите получить к ней, и откройте веб -сайт в Chrome/Firefox
> python src/app.py

Разработчики

Вы можете связаться с нами на профилях LinkedLn

Sarthak Jain Machine Learning NLP Web Crawling

Вы также можете подписаться на меня на GitHub, чтобы оставаться в курсе моих последних проектов

Rishabh Mishra Full Stack Web Developer

Вы также можете подписаться на меня на GitHub, чтобы оставаться в курсе моих последних проектов

Если вам понравился этот репозиторий, то поддержите его, дав ему звезду

Вклад

Если вы найдете какую -либо ошибку или у вас есть какие -либо предложения по улучшению этого проекта, не стесняйтесь генерировать запрос на привлечение.

Есть много функций, которые можно добавить в этот инструмент.

1. Сегментация запроса
2. Расширение запроса (в основном - методика обратной связи псевдо -актуальности )
3. Импровизирующий контроль орфографии
4. Например, избирания- в настоящее время этот проект рассматривает «Нью-Йорк» как [«Новый», «Йорк»], т.е. два разных слова, но его следует рассматривать как единственную сущность, такую ​​как ["new_york"], это определенно может иметь большое значение в результатах поиска.
5. Журналы запросов (техника изменения игры для поисковых систем)
6. Сегментация результатов поиска [like-luecene]

Если у вас есть какой -либо опыт внедрения какой -либо из этих функций, сделайте вклад .

Ссылки

1. Удивительная статья об алгоритме рейтинга BM25 на Википедии - Okapi BM25

2. Прочитайте эту статью о моделировании темы

3. Полностью последовала за этой прекрасной статьей о тегах SVOS для создания тегов для этого проекта.

4. Использовал реализацию фонда BM25 Рейтинг из этого великого репозиитрии на GitHub от dorianbrown .