Intelligent_Document_Finder

지능형 문서 파인더 2.0

시맨틱 검색을 사용하여 모든 문서를 찾을 수있는 도구.

이것은 지능형 문서 파인더의 즉흥적 인 버전입니다
새로운 기능 목록-

1. 관련 문서 또는 가장 유사한 문서를 볼 수있는 문서 유사성 스크립트를 구현했습니다.
2. 개정 된 웹 사이트 ui.
3. 검색 기능의 시간 복잡성을 줄입니다.

지능형 문서 찾기 란 무엇입니까?

작년에 만든 문서의 정확한 위치를 기억하는 것이 얼마나 쉽습니까? 쉽지 않습니까? 대기업/사람들은 매일 수백 개의 문서를 다루고 대부분의 시간을 잊어 버립니다.
그러나 우리가 어떤 작업에 대해 오래된 문서를 다시 원한다면, 불행히도 컴퓨터의 큰 저장소에서 그것을 검색하기 위해 해당 문서의 이름이나 실제 내용을 기억하지 못합니다.
이러한 경우 지능형 문서 파인더를 사용하면 실제로 큰 차이가 생길 수 있습니다. 쿼리 입력을 semantically 으로 필요에 대한 문서를 검색 할 수 있습니다. 이것은 문서에 대한 빠른 액세스에 도움이 될뿐만 아니라 유사한 문서를 함께 그룹화하고 분석하는 데 도움이됩니다.

시청 프로젝트 데모 :

메모

현재이 저장소는 Web Scraping에서 수집 한 미리 정의 된 뉴스 기사 데이터베이스를 사용하고 있습니다. 대형 파일 업로드에 대한 GitHub 제한으로 인해 여기에서 업로드 할 수 없습니다.

곧 동적 데이터베이스의 지원을 추가하여 자체 데이터베이스 에이 도구를 사용하여 고유 한 사용자 정의 검색 엔진을 구축 할 수 있습니다.

사용 된 기술

Python3.6 JavaScript jQuery HTML & CSS

사용 된 데이터베이스 :

sqlite

검색 구현 :

다양한 NLP (자연어 처리) 기술이 사용됩니다.

웹 사이트 :

• 파이썬 기반 웹 프레임 워크 : 플라스크
• 자바 스크립트
• jQuery

프로그램 흐름

호환성

• 백엔드 (AI 부품)는 파이썬이 있고 필요한 종속성이 설치된 모든 기계에서 호환됩니다.
• 권장 브라우저 : Mozilla Firefox 및 Google Chrome.

설치 및 사용 방법?

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

설치되지 않은 경우 유리체 환경을 설치하십시오

• Linux/MacOS > python3 -m pip install --user virtualenv
• Windows > py -m pip install --user virtualenv

가상 환경을 만듭니다

• MacOS 및 Linux : > python3 -m venv env
• Windows : > py -m venv env

환경 활성화 :

• MacOS 및 Linux : > source env/bin/activate 에서
• Windows : > .envScriptsactivate

> pip install -r requirements.txt

이 링크에서 글러브 단어 임베딩을 다운로드하고 , 압축을 제거하고 glove.6B.100d 복사하십시오 .6B.100D 파일 DataBase 폴더에서.

그런 다음이 명령 > python initial_file.py 를 통해 initial_file.py를 실행하십시오

이제 당신은 갈 수 있습니다.
> python src/app.py

개발자

linkedln 프로필에서 우리와 연락 할 수 있습니다.

Sarthak Jain Machine Learning NLP Web Crawling

Github에서 나를 팔로우하여 최신 프로젝트에 대한 업데이트를 계속할 수 있습니다.

Rishabh Mishra Full Stack Web Developer

Github에서 나를 팔로우하여 최신 프로젝트에 대한 업데이트를 계속할 수 있습니다.

이 저장소가 마음에 들었다면 별 을 줘서 지원하십시오.

기여

이 프로젝트를 개선 할 버그가 있거나 제안이 있으면 풀 요청을 자유롭게 생성하십시오.

이 도구에 추가 할 수있는 많은 기능이 있습니다.

1. 쿼리 세분화
2. 쿼리 확장 (주로 - 의사 관련 피드백 기술 )
3. 주문 검사기 개선
4. 예를 들어 배치 - 현재이 프로젝트는 "New York"을 [ "New", "York"] 즉 두 가지 다른 단어로 간주하지만 [ "New_York"]와 같은 단일 엔티티로 간주되어야합니다. 이는 검색 결과에서 큰 차이를 만들 수 있습니다.
5. 쿼리 로그 (검색 엔진의 게임 변경 기술)
6. 검색 결과 세분화 [Like-Luecene]

이러한 기능을 구현 한 경험이 있으시면 기여를 하십시오.

참조

1. Wikipedia에서 BM25 순위 알고리즘의 awsome 기사 -Okapi BM25

2. 주제 모델링 에서이 기사를 읽으십시오

3. 이 프로젝트에 대한 태그를 생성하기위한 SVOS 태그에 대한이 아름다운 기사를 완전히 따랐습니다.

4. dorianbrown 의 Github에 대한이 위대한 저장소에서 BM25 Ranking Futuction 구현을 사용했습니다.