Intelligent_Document_Finder

Intelligenter Dokument Finder 2.0

Ein Tool, mit dem Sie jedes Dokument mit semantischen Suche finden können.

Dies ist eine improvisierte Version von intelligentem Dokument-Finder
Liste der neuen Funktionen-

1. Implementiertes Dokument -Ähnlichkeits -Skript, mit dem Sie verwandte oder ähnliche Dokumente angezeigt werden.
2. Überarbeitete Website UI.
3. Reduziert die Zeitkomplexität der Suchfunktionen.

Was ist intelligenter Dokumentfinder?

Wie einfach finden Sie es, um sich an den genauen Ort eines Dokuments zu erinnern, das Sie letztes Jahr erstellt haben? Nicht sehr einfach, oder? Große Organisationen/Menschen befassen sich täglich mit Hunderten von Dokumenten und vergessen sie die meiste Zeit.
Aber was ist, wenn wir diese alte Dokumentation für einige Arbeiten erneut wünschen, aber leider erinnern Sie sich nicht an den Namen oder den tatsächlichen Inhalt dieses Dokuments, um sie aus dem großen Speicher Ihres Computers abzurufen?
In solchen Fällen kann die Verwendung eines intelligenten Dokumentfinders wirklich einen großen Unterschied machen. AS, es kann nach dem Dokument ( semantically ) Ihres Bedürfnisses basierend auf einer Abfrageeingabe suchen. Dies hilft nicht nur beim schnelleren Zugriff auf das Dokument, sondern hilft auch bei der Gruppierung ähnlicher Dokumente und bei der Analyse.

Project Demo ansehen:

Notiz

Derzeit verwendet diese Reposity die vordefinierte Datenbank von Nachrichtenartikeln, die von Web Scraping gesammelt wurden. Aufgrund der GitHub -Beschränkungen beim Hochladen der großen Dateien können wir sie hier nicht hochladen.

Bald werden wir die Unterstützung der dynamischen Datenbanken hinzufügen, damit Sie dieses Tool für Ihre eigenen Datenbanken verwenden können, um Ihre eigene benutzerdefinierte Suchmaschine zu erstellen.

Technologien verwendet

Python3.6 JavaScript jQuery HTML & CSS

Datenbank verwendet:

Sqlite

Zur Implementierung der Suche:

Es werden verschiedene NLP -Techniken (natürliche Sprachverarbeitung) verwendet.

Für Website:

• Python-basierter Web Framework: Flask
• JavaScript
• JQuery

Programmfluss

Kompatibilität

• Backend (AI -Teil) ist mit jeder Maschine mit Python kompatibel und erforderliche Abhängigkeiten installiert.
• Empfohlene Browser: Mozilla Firefox und Google Chrome.

Wie installiere und benutze ich?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

Installieren Sie die Vitualumgebung, wenn Sie nicht installiert sind

• Auf Linux/macos > python3 -m pip install --user virtualenv
• Unter Windows > py -m pip install --user virtualenv

Virtuelle Umgebung erstellen

• Auf macos und linux: > python3 -m venv env
• Unter Fenstern: > py -m venv env

Umgebung aktivieren:

• Auf macOS und Linux: > source env/bin/activate
• Unter Windows: > .envScriptsactivate

> pip install -r requirements.txt

Laden Sie das Handschuhwort -Einbettungen von diesem Link herunter , dekomprimieren Sie es und kopieren Sie die glove.6B.100d -Datei in DataBase

Dann führen Sie initial_file.py durch diesen Befehl > python initial_file.py aus

Jetzt können Sie loslegen. Geben Sie diesen Befehl jedes Mal ein, wenn Sie darauf zugreifen möchten, und öffnen Sie die Website in Chrome/Firefox
> python src/app.py

Entwickler

Sie können sich in LinkedLn -Profilen mit uns in Verbindung setzen

Sarthak Jain Machine Learning NLP Web Crawling

Sie können mir auch auf Github folgen, um über meine neuesten Projekte auf dem Laufenden zu bleiben

Rishabh Mishra Full Stack Web Developer

Sie können mir auch auf Github folgen, um über meine neuesten Projekte auf dem Laufenden zu bleiben

Wenn Ihnen dieses Repository gefallen hat, unterstützen Sie ihn, indem Sie ihm einen Stern geben

Beiträge

Wenn Sie Fehler finden oder Vorschläge zur Verbesserung dieses Projekts haben, können Sie eine Pull -Anfrage erstellen.

Es gibt viele Funktionen, die diesem Tool hinzugefügt werden können.

1. Abfragesegmentierung
2. Abfrageerweiterung (hauptsächlich - Pseudo -Relevanz -Feedback -Technik )
3. Improvisierenden Zaubersprüchen
4. Kollokationen zum Beispiel- Derzeit betrachtet dieses Projekt "New York" als ["New", "York"] dh zwei verschiedene Wörter, aber es sollte als einzelne Entität wie ["New_york"] betrachtet werden. Dies kann definitiv einen großen Unterschied in den Suchergebnissen bewirken.
5. Abfrageprotokolle (Spielwechseltechnik für Suchmaschinen)
6. Segmentierung des Suchergebnisses [wie luecene]

Wenn Sie Erfahrung in der Implementierung einer dieser Funktionen haben, dann beitragen Sie dazu.

Referenzen

1. AWSOME ARTIKEL DES BM25 RANKING -ALGORITHME AUF WIKIPEDIA - OKAPI BM25

2. Lesen Sie diesen Artikel zum Thema Themenmodellierung

3. Verfolgt diesem schönen Artikel zum SVOS -Tagging zum Generieren von Tags für dieses Projekt.

4. Verwendete die BM25 -Ranking -Fuktionsimplementierung aus dieser großen Aufnahme auf Github von dorianbrown .