Intelligent_Document_Finder

インテリジェントドキュメントファインダー2.0

セマンティック検索を使用してドキュメントを見つけることができるツール。

これは、Intelligent-Document-Finderの即興版です
新機能のリスト -

1. ドキュメントの類似性スクリプトを実装します。これにより、関連するドキュメントまたは最も類似したドキュメントを表示できます。
2. 改良されたウェブサイトUI。
3. 検索関数の時間の複雑さを削減します。

インテリジェントドキュメントファインダーとは何ですか？

昨年作成したドキュメントの正確な場所を覚えているのはどれほど簡単ですか？それほど簡単ではありませんよね？大規模な組織/人々は毎日何百もの文書を扱っており、ほとんどの場合、それらを忘れています。
しかし、いくつかの作業のためにその古いドキュメントをもう一度望んでいるが、残念ながら、そのドキュメントの名前や実際のコンテンツを覚えていない場合は、コンピューターの大規模なストレージから取得します。
そのような場合、インテリジェントなドキュメントファインダーを使用すると、本当に大きな違いが生じる可能性があります。として、クエリ入力に基づいて、必要性のドキュメントを（ semantically ）検索できます。これは、ドキュメントへのより速いアクセスに役立つだけでなく、同様のドキュメントをグループ化して分析するのにも役立ちます。

プロジェクトのデモを見る：

注記

現在、このリポジトリは、Webスクレイピングによって収集されたニュース記事の事前定義されたデータベースを使用しています。大きなファイルのアップロードに関するGitHubの制限により、ここにアップロードすることはできません。

まもなく、動的データベースのサポートを追加して、独自のデータベースにこのツールを使用して独自のカスタム検索エンジンを構築できるようにします。

使用されたテクノロジー

Python3.6 JavaScript jQuery HTML & CSS

使用されるデータベース：

sqlite

検索を実装するため：

さまざまなNLP（自然言語処理）技術が使用されています。

ウェブサイトの場合：

• PythonベースのWebフレームワーク：フラスコ
• JavaScript
• jquery

プログラムフロー

互換性

• バックエンド（AIパーツ）は、Pythonがあり、依存関係がインストールされている必要があるマシンに互換性があります。
• 推奨ブラウザ：Mozilla FirefoxとGoogle Chrome。

インストールと使用方法は？

> mkdir IntelligentDocumentFinder

> cd IntelligentDocumentFinder

> git clone https://github.com/Sarthakjain1206/Intelligent_Document_Finder_2.0.git

インストールされていない場合は、vitual環境をインストールしてください

• linux/macos > python3 -m pip install --user virtualenv
• Windows > py -m pip install --user virtualenv

仮想環境を作成します

• MacosとLinuxについて： > python3 -m venv env
• windows： > py -m venv env

環境をアクティブにする：

• MacOSおよびLinuxについて： > source env/bin/activate
• Windows： > .envScriptsactivate

> pip install -r requirements.txt

このリンクからグローブワードの埋め込みをダウンロードし、それを減圧してglove.6B.100dをコピーします。6B.100D DataBaseフォルダーに

次に、このコマンド> python initial_file.pyを介してinitial_file.pyを実行します

今、あなたは行き​​ます..あなたがそれにアクセスするたびにこのコマンドを入力し、Chrome/Firefoxでウェブサイトを開きます
> python src/app.py

開発者

Linkedlnプロファイルで私たちと連絡を取ることができます

Sarthak Jain Machine Learning NLP Web Crawling

GitHubで私をフォローして、私の最新のプロジェクトについて最新の状態を維持することもできます

Rishabh Mishra Full Stack Web Developer

GitHubで私をフォローして、私の最新のプロジェクトについて最新の状態を維持することもできます

このリポジトリが気に入ったら、スターを与えることでサポートしてください

貢献

バグが見つかった場合、またはこのプロジェクトを改善するための提案がある場合は、プルリクエストを自由に生成してください。

このツールに追加できる機能がたくさんあります。

1. クエリセグメンテーション
2. クエリ拡張（主に -擬似関連性フィードバック手法）
3. スペルチェッカーの即興
4. たとえば、コロケーション- 現在、このプロジェクトは「ニューヨーク」を["new"、 "York"] IE 2つの異なる単語と見なしますが、["new_york"]のような単一のエンティティとして考慮する必要があります。
5. クエリログ（検索エンジンのゲーム変更手法）
6. 検索結果のセグメンテーション[同様のluecene]

これらの機能のいずれかを実装した経験がある場合は、貢献してください。

参照

1. ウィキペディアのBM25ランキングアルゴリズムの素晴らしい記事-OkapiBM25

2. トピックモデリングに関するこの記事を読んでください

3. このプロジェクトのタグを生成するためのSVOSタグ付けに関するこの美しい記事に完全に従いました。

4. dorianbrownによるGitHubのこの素晴らしい包装版からのBM25ランキングFuctionの実装を使用しました。