Intelligent_Document_Finder

Intelligent Document Finder 2.0

Uma ferramenta que pode encontrar seu documento usando pesquisa semântica .

Esta é uma versão improvisada do Finder Intelligent-Document
Lista de novos recursos--

1. Script de similaridade de documentos implementado, que permite ver documentos relacionados ou mais semelhantes.
2. UI do site renovado.
3. Reduz as complexidades do tempo das funções de pesquisa.

O que é o Intelligent Document Finder?

Quão fácil você acha que se lembra da localização exata de um documento que você criou no ano passado? Não é muito fácil, certo? Grandes organizações/pessoas lidam com centenas de documentos diariamente e esquecem -os, na maioria das vezes.
Mas e se queremos essa documentação antiga novamente para algum trabalho, mas infelizmente você não se lembra do nome ou do conteúdo real desse documento para recuperá -lo do grande armazenamento do seu computador.
Nesses casos, o uso de um localizador de documentos inteligente pode realmente fazer uma enorme diferença. Como, ele pode procurar o documento ( semantically ) de sua necessidade com base em uma entrada de consulta. Isso não apenas ajudará no acesso mais rápido ao documento, mas também ajudará no agrupamento de documentos semelhantes e a analisá -los.

Assista à demonstração do projeto:

Observação

Atualmente, este repositia está usando um banco de dados predefinido de artigos de notícias coletados por raspagem na web. Devido às restrições do GitHub sobre o upload dos arquivos grandes, não podemos carregá -los aqui.

Em breve, adicionaremos o suporte dos bancos de dados dinâmicos, para que você possa usar essa ferramenta para seus próprios bancos de dados para criar seu próprio mecanismo de pesquisa personalizado.

Tecnologias usadas

Python3.6 JavaScript jQuery HTML & CSS

Banco de dados usado:

Sqlite

Para implementar a pesquisa:

Várias técnicas de PNL (processamento de linguagem natural) são usadas.

Para site:

• Estrutura da web baseada em Python: Flask
• JavaScript
• jQuery

Fluxo do programa

Compatibilidade

• O back -end (parte da IA) é compatível em qualquer máquina que tenha Python e dependências necessárias instaladas.
• Navegadores recomendados: Mozilla Firefox e Google Chrome.

Como instalar e usar?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

Instale o ambiente vitual se não estiver instalado

• No linux/macOS > python3 -m pip install --user virtualenv
• No Windows > py -m pip install --user virtualenv

Crie ambiente virtual

• No macOS e Linux: > python3 -m venv env
• No Windows: > py -m venv env

Ativar ambiente:

• No macOS e Linux: > source env/bin/activate
• No Windows: > .envScriptsactivate

> pip install -r requirements.txt

Faça o download da luva Word incorpeddings deste link, descompacte -o e copie a glove.6B.100d Arquivo na pasta de DataBase

Em seguida, execute inicial_file.py através deste comando > python initial_file.py

Agora você está pronto para ir .. Basta digitar este comando toda vez que deseja acessá -lo e abrir o site no Chrome/Firefox
> python src/app.py

Desenvolvedores

Você pode entrar em contato conosco nos perfis Linkedln

Sarthak Jain Machine Learning NLP Web Crawling

Você também pode me seguir no Github para se manter atualizado sobre meus projetos mais recentes

Rishabh Mishra Full Stack Web Developer

Você também pode me seguir no Github para se manter atualizado sobre meus projetos mais recentes

Se você gostou deste repositório, apoie -o, dando -lhe uma estrela

Contribuições

Se você encontrar algum bug ou tiver alguma sugestão para melhorar este projeto, sinta -se à vontade para gerar uma solicitação de tração.

Existem muitos recursos que podem ser adicionados a essa ferramenta.

1. Segmentação de consulta
2. Expansão de consulta (principalmente - Técnica de feedback de relevância pseudo )
3. Improvisando o verificador ortográfico
4. Colocações, por exemplo, atualmente este projeto considera "Nova York" como ["novo", "York"], ou seja, duas palavras diferentes, mas deve ser considerado como uma única entidade como ["new_york"], isso pode definitivamente fazer uma grande diferença nos resultados da pesquisa.
5. Logs de consulta (técnica de mudança de jogo para mecanismos de pesquisa)
6. Segmentação do resultado da pesquisa [Like- Luecene]

Se você tiver alguma experiência na implementação de algum desses recursos, faça contribuições .

Referências

1. Artigo incrível do algoritmo de classificação BM25 na Wikipedia - Okapi BM25

2. Leia este artigo sobre modelagem de tópicos

3. Seguiram completamente este belo artigo sobre marcadores de SVOs para gerar tags para este projeto.

4. Utilizou a implementação do BM25 Ranking Fucking desta grande repositia no Github por dorianbrown .