Team GenAIus

Genaius KT：ナレッジマネジメントシステム

目次

• 概要
• プロジェクト構造
• パイプラインの概要
• データ収集
• データ抽出
• データの前処理
• GEN AIモデルのトレーニング
• フラスコバックエンド
• next.jsのフロントエンド
• インストール
• 使用法
• 将来の改善
• 貢献
• ライセンス

概要

Genaius KTは、企業内のナレッジマネジメント向けに設計されたQ＆Aチャットボットです。従業員、特に新しいインターンや研修生が進行中および以前のプロジェクトを理解するのを支援します。チャットボットは、教育コンテンツとプロジェクトの詳細に関連するクエリに応答し、知識をシームレスで効率的に転送します。

プロジェクト構造

GenAIus/
├── backend/
│   ├── Data/
│   │   └── (Initial raw data of multiple formats)
│   ├── DataChunks/
│   │   └── (Extracted data chunks from all_extracted_data.txt)
│   ├── Downloads/
│   │   └── (Connected with MongoDB to download data)
│   ├── AllCleanData.txt
│   ├── ExtractedRawData.txt
│   ├── app.py
│   ├── cleaningChunks.py
│   ├── downloadRawFiles.py
│   ├── embeddings.json
│   ├── environment.yml
│   ├── extractor.py
│   ├── model.py
│   ├── ScrapeHTML.py
│   ├── splittingDataToChunks.py
│   └── uploadRawFiles.py
├── frontend/
│   └── (Next.js files)
├── README.md 
└── LICENSE

パイプラインの概要

Genaiusチャットボットのパイプラインは、いくつかのステップで構成されています。

1. データ収集：さまざまなファイル形式から会社のデータを収集します。
2. データ抽出：Pythonライブラリを使用したテキストデータの抽出。
3. データの前処理：Gemini AIモデルを使用して抽出されたデータのクリーニングと構造化。
4. GEN AIモデルのトレーニング：ベクトル埋め込みの作成とチャットボットのトレーニング。
5. フラスコバックエンド：リクエストを処理するためにバックエンドを設定します。
6. フロントエンド開発：next.jsを使用してユーザーフレンドリーなインターフェイスを構築する

データ収集

パイプラインの最初のステップには、以下を含むさまざまな会社のドキュメントからデータを収集することが含まれます。

• PDF
• doc/docx
• Google Docs（.gdoc）
• XLS/XLSX
• グーグルシート
• PPT/PPTX
• グーグルスライド
• JPG/PNG
• SVG
• CSV
• マークダウン（MD）
• TXT/JSON/XML
• HTML

多くの場合、企業データは機密であるため、これらの形式でダミーであるが現実的なデータが作成されています。

データ抽出

テキストデータ抽出は、さまざまなファイル形式のコンテンツを読み取り、統合テキストファイル（ ExtractedRawData.txt ）に保存するいくつかのPythonライブラリを使用して実行されます。使用されるライブラリには以下が含まれます。

• os
• docx
• csv
• openpyxl
• PyPDF2
• cv2
• pytesseract
• pptx
• selenium （Webベースのデータ用）

データの前処理

抽出されたテキストデータは、Google Gemini AIモデルを使用して前処理されます。大きなデータセットを考えると、データは小さな部分に充電され、バッチで処理されます。クリーニングされたデータは、 AllCleanData.txtというファイルに保存されます。

重要：Gemini APIキー

このプロジェクトは、データのクリーニングとトレーニングパーツにGemini APIキーを利用しています。プロジェクトのクローニングまたはフォーキング後、 .envファイルのプレースホルダーを独自のGemini APIキーに置き換えてください。

GEN AIモデルのトレーニング

データがクリーニングされると、次のステップはGemini AIモデルを使用してベクトル埋め込みを作成することです。チャットボットは、これらの埋め込みを使用して、ユーザークエリに基づいて関連情報を取得し、そのドメインに焦点を合わせたままにします。

フラスコバックエンド

フラスコバックエンドは、フロントエンドをチャットボットの処理ロジックに接続する責任があります。バックエンドは、ユーザーインターフェイスとAIモデルの間のリクエストと応答を処理します。

next.jsのフロントエンド

ユーザーインターフェイスはnext.jsを使用して構築されており、従業員がGenaiusチャットボットと対話するためのユーザーフレンドリーなチャットインターフェイスを提供します。フロントエンドのデザインは、アクセシビリティと使いやすさを強調しています。

インストール

プロジェクトをローカルに設定するには、次の手順に従ってください。

1. リポジトリをクローンします：

   git clone https://github.com/Pree-04/Team-GenAIus
   cd GenAIus
   

2. 重要：プロジェクトをクローニングまたはフォーキングした後、コード内のディレクトリとパスを変更して、プロジェクトファイルを保存したそれぞれのローカルパスを反映してください。

3. バックエンド依存関係をインストール：CDバックエンドPIPインストール-R要件.txt

4. フロントエンドのセットアップ：CD FrontEnd NPMインストール

5. バックエンドディレクトリに.ENVファイルを作成し、Gemini APIキーを追加します：Gemini_api_key = your_gemini_api_key_her

使用法

バックエンドサーバーを実行するには：CDバックエンドPython App.py

フロントエンドを開始するには：CD Frontend NPM Run Dev

http：// localhost：3000にアクセスして、チャットボットと対話します。

将来の改善

エンドツーエンドの統合：チャットボットを包括的に統合してWebアプリケーションを完全に展開して、アクセシビリティを強化します。階層的アクセス制御：組織内の従業員の立場に基づいて、機密データへのアクセスを制限する機能を実装します。これにより、機密情報が適切なクリアランスを持つ人のみがアクセスできるようになります。

貢献

貢献は大歓迎です！プルリクエストを作成するか、議論のために問題を開いてください。

ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。