Intelligent_Document_Finder

Intelligent Document Finder 2.0

Un outil qui peut trouver votre document à l'aide de la recherche sémantique .

Ceci est une version improvisée de l'alimentation intelligente
Liste des nouvelles fonctionnalités -

1. Le script de similitude de document implémenté, qui vous permet de voir des documents connexes ou les plus similaires.
2. Interface utilisateur de site Web remanié.
3. Réduit les complexités temporelles des fonctions de recherche.

Qu'est-ce que le Finder de Document Intelligent?

À quel point le trouvez-vous facile de vous souvenir de l'emplacement exact d'un document que vous avez créé l'année dernière? Pas très facile, non? Les grandes organisations / personnes traitent des centaines de documents par jour et les oublient, la plupart du temps.
Mais que se passe-t-il si nous voulons à nouveau cette ancienne documentation pour un peu de travail, mais malheureusement, vous ne vous souvenez pas du nom ou du contenu réel de ce document pour le récupérer à partir du grand stockage de votre ordinateur.
Dans de tels cas, l'utilisation d'un chercheur de documents intelligent peut vraiment faire une énorme différence. Comme, il peut rechercher le document ( semantically ) de vos besoins en fonction d'une entrée de requête. Cela contribuera non seulement à un accès plus rapide au document, mais aidera également à regrouper des documents similaires et à les analyser.

Regarder la démo du projet:

Note

Actuellement, cette référentiel utilise une base de données prédéfinie des articles de presse recueillis par tracotage Web. En raison des restrictions GitHub sur le téléchargement des fichiers volumineux, nous ne pouvons pas le télécharger ici.

Bientôt, nous ajouterons la prise en charge des bases de données dynamiques, afin que vous puissiez utiliser cet outil pour vos propres bases de données afin de créer votre propre moteur de recherche personnalisé.

Technologies utilisées

Python3.6 JavaScript jQuery HTML & CSS

Base de données utilisée:

Sqlite

Pour implémenter la recherche:

Diverses techniques de PNL (traitement du langage naturel) sont utilisées.

Pour le site Web:

• Framework Web basé sur Python: Flash
• Javascrip
• jquery

Flux de programme

Compatibilité

• Le backend (pièce AI) est compatible sur n'importe quelle machine qui a des dépendances Python et requises installées.
• BROWNSEMENTS RECOMMANDÉS: Mozilla Firefox et Google Chrome.

Comment installer et utiliser?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

Installer un environnement vital s'il n'est pas installé

• Sur linux / macOS > python3 -m pip install --user virtualenv
• Sur Windows > py -m pip install --user virtualenv

Créer un environnement virtuel

• Sur macOS et Linux: > python3 -m venv env
• Sur Windows: > py -m venv env

Activer l'environnement:

• Sur macOS et Linux: > source env/bin/activate
• Sur Windows: > .envScriptsactivate

> pip install -r requirements.txt

Téléchargez Glove Word Embeddings à partir de ce lien, décompressez-le et copiez le fichier glove.6B.100d dans le dossier DataBase

Ensuite, exécutez initial_file.py via cette commande > python initial_file.py

Maintenant, vous êtes prêt à partir. Tapez simplement cette commande à chaque fois que vous souhaitez y accéder et ouvrez le site Web dans Chrome / Firefox
> python src/app.py

Développeurs

Vous pouvez nous contacter sur les profils liés

Sarthak Jain Machine Learning NLP Web Crawling

Vous pouvez également me suivre sur GitHub pour rester à jour sur mes derniers projets

Rishabh Mishra Full Stack Web Developer

Vous pouvez également me suivre sur GitHub pour rester à jour sur mes derniers projets

Si vous avez aimé ce référentiel, alors soutenez-le en lui donnant une étoile

Contributions

Si vous trouvez un bug ou avez des suggestions pour améliorer ce projet, n'hésitez pas à générer une demande de traction.

Il existe de nombreuses fonctionnalités qui peuvent être ajoutées à cet outil.

1. Segmentation des requêtes
2. Extension de requête (principalement - technique de rétroaction de pertinence pseudo )
3. Vérificateur orthographique d'improvisation
4. Collocations Par exemple - Actuellement, ce projet considère "New York" comme ["nouveau", "York"] c'est-à-dire deux mots différents, mais il devrait être considéré comme une seule entité comme ["new_york"], cela peut certainement faire une grande différence dans les résultats de recherche.
5. Journaux de requête (technique de changement de jeu pour les moteurs de recherche)
6. Segmentation du résultat de la recherche [comme-lucene]

Si vous avez une expérience dans la mise en œuvre de l'une de ces fonctionnalités, contribuez .

Références

1. Awsome Article d'algorithme de classement BM25 sur Wikipedia - Okapi BM25

2. Lisez cet article sur la modélisation des sujets

3. A complètement suivi ce bel article sur le marquage des SVOS pour générer des balises pour ce projet.

4. Utilisé l'implémentation de fichiers de classement BM25 à partir de cette grande référentiel sur GitHub par dorianbrown .