Intelligent_Document_Finder

Buscador de documentos inteligente 2.0

Una herramienta que puede encontrar su documento utilizando la búsqueda semántica .

Esta es una versión improvisada de inteligente-document-finder
Lista de nuevas características-

1. Script de similitud de documentos implementado, que le permite ver documentos relacionados o más similares.
2. UI del sitio web renovado.
3. Reduce las complejidades de tiempo de las funciones de búsqueda.

¿Qué es el buscador de documentos inteligentes?

¿Qué tan fácil le resulta recordar la ubicación exacta de un documento que creó el año pasado? No es muy fácil, ¿verdad? Las grandes organizaciones/personas tratan con cientos de documentos diariamente y se olvidan de ellas, la mayoría de las veces.
Pero, ¿qué pasa si queremos esa antigua documentación para algún trabajo, pero desafortunadamente no recuerda el nombre o el contenido real de ese documento para recuperarla del gran almacenamiento de su computadora?
En tales casos, el uso de un buscador de documentos inteligente realmente puede marcar una gran diferencia. Como, puede buscar el documento ( semantically ) de su necesidad en función de una entrada de consulta. Esto no solo ayudará a un acceso más rápido al documento, sino que también ayudará a agrupar documentos similares y a analizarlos.

Mira la demostración del proyecto:

Nota

Actualmente, este repositry está utilizando una base de datos predefinida de artículos de noticias recopilados por raspado web. Debido a las restricciones de GitHub para cargar los archivos grandes, no podemos cargarlo aquí.

Pronto, agregaremos el soporte de las bases de datos dinámicas, para que pueda usar esta herramienta para sus propias bases de datos para crear su propio motor de búsqueda personalizado.

Tecnologías utilizadas

Python3.6 JavaScript jQuery HTML & CSS

Base de datos utilizada:

Sqlite

Para implementar la búsqueda:

Se utilizan varias técnicas de PNL (procesamiento del lenguaje natural).

Para el sitio web:

• Marco web basado en Python: Flask
• Javascript
• jQuery

Flujo de programa

Compatibilidad

• El backend (parte de IA) es compatible en cualquier máquina que tenga Python y las dependencias requeridas instaladas.
• Los navegadores recomendados: Mozilla Firefox y Google Chrome.

¿Cómo instalar y usar?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

Instale el entorno vitual si no está instalado

• En Linux/MacOS > python3 -m pip install --user virtualenv
• En Windows > py -m pip install --user virtualenv

Crear entorno virtual

• En macOS y Linux: > python3 -m venv env
• En Windows: > py -m venv env

Activar el entorno:

• En macOS y Linux: > source env/bin/activate
• En Windows: > .envScriptsactivate

> pip install -r requirements.txt

Descargue los incrustaciones de palabras de Glove de este enlace, descomprima y copie el archivo glove.6B.100d en la carpeta DataBase

Luego, ejecute inicial_file.py a través de este comando > python initial_file.py

Ahora está listo para ir ... solo escriba este comando cada vez que desee acceder a él y abra el sitio web en Chrome/Firefox
> python src/app.py

Desarrolladores

Puede ponerse en contacto con nosotros en los perfiles de Linkedln

Sarthak Jain Machine Learning NLP Web Crawling

También puedes seguirme en Github para mantenerte actualizado sobre mis últimos proyectos.

Rishabh Mishra Full Stack Web Developer

También puedes seguirme en Github para mantenerte actualizado sobre mis últimos proyectos.

Si le gustó este repositorio, lo admite dándole una estrella

Contribuciones

Si encuentra algún error o tiene alguna sugerencia para mejorar este proyecto, no dude en generar una solicitud de extracción.

Hay muchas características que se pueden agregar a esta herramienta.

1. Segmentación de consultas
2. Expansión de consulta (principalmente - técnica de retroalimentación de pseudo relevancia )
3. Refector ortográfico de improvisación
4. Colocaciones, por ejemplo, actualmente este proyecto considere "Nueva York" como ["nuevo", "York"] es decir, dos palabras diferentes, pero debe considerarse como una entidad única como ["New_york"], esto definitivamente puede marcar una gran diferencia en los resultados de búsqueda.
5. Registros de consulta (técnica de cambio de juego para motores de búsqueda)
6. Segmentación del resultado de la búsqueda [Liuecene]

Si tiene alguna experiencia en la implementación de alguna de estas características, entonces, contribuya .

Referencias

1. Algoritmo de clasificación BM25 en Wikipedia - Okapi BM25

2. Lea este artículo sobre el modelado de temas

3. Seguí completamente este hermoso artículo sobre el etiquetado SVOS para generar etiquetas para este proyecto.

4. Usó la implementación de la fuction de ranking BM25 de esta gran repositry en Github por dorianbrown .