Team GenAIus

Genaius KT: Wissensmanagementsystem

Inhaltsverzeichnis

• Überblick
• Projektstruktur
• Pipeline -Übersicht
• Datenerfassung
• Datenextraktion
• Datenvorverarbeitung
• Training des Gen AI -Modells
• Flask -Backend
• Frontend mit Next.js
• Installation
• Verwendung
• Zukünftige Verbesserungen
• Beitragen
• Lizenz

Überblick

Genaius KT ist ein Q & A -Chatbot für Wissensmanagement innerhalb eines Unternehmens. Es unterstützt Mitarbeiter, insbesondere neue Praktikanten und Auszubildende, beim Verständnis fortlaufender und früherer Projekte. Der Chatbot reagiert auf Abfragen im Zusammenhang mit Bildungsinhalten und Projektdetails, wodurch der Wissenstransfer nahtlos und effizient wird.

Projektstruktur

GenAIus/
├── backend/
│   ├── Data/
│   │   └── (Initial raw data of multiple formats)
│   ├── DataChunks/
│   │   └── (Extracted data chunks from all_extracted_data.txt)
│   ├── Downloads/
│   │   └── (Connected with MongoDB to download data)
│   ├── AllCleanData.txt
│   ├── ExtractedRawData.txt
│   ├── app.py
│   ├── cleaningChunks.py
│   ├── downloadRawFiles.py
│   ├── embeddings.json
│   ├── environment.yml
│   ├── extractor.py
│   ├── model.py
│   ├── ScrapeHTML.py
│   ├── splittingDataToChunks.py
│   └── uploadRawFiles.py
├── frontend/
│   └── (Next.js files)
├── README.md 
└── LICENSE

Pipeline -Übersicht

Die Pipeline für den Genaius Chatbot besteht aus mehreren Schritten:

1. Datenerfassung : Sammeln von Unternehmensdaten aus verschiedenen Dateiformaten.
2. Datenextraktion : Extrahieren von Textdaten mithilfe von Python -Bibliotheken.
3. Datenvorverarbeitung : Reinigen und Strukturieren der extrahierten Daten mithilfe des Gemini -AI -Modells.
4. Training des Gen -AI -Modells : Erstellen von Vektor -Einbettungen und Schulung des Chatbots.
5. Flask -Backend : Einrichten des Backends für den Umgang mit Anfragen.
6. Frontend-Entwicklung : Erstellen einer benutzerfreundlichen Schnittstelle mit Next.js.

Datenerfassung

Der erste Schritt in der Pipeline besteht darin, Daten aus verschiedenen Unternehmensdokumenten zu sammeln, darunter:

• PDF
• Doc/docx
• Google Docs (.gdoc)
• XLS/XLSX
• Google -Blätter
• PPT/PPTX
• Google -Folien
• JPG/PNG
• Svg
• CSV
• Markdown (MD)
• Txt/json/xml
• Html

Da Unternehmensdaten oft vertraulich sind, wurden in diesen Formaten Dummy, aber realistische Daten erstellt.

Datenextraktion

Die Extraktion für die Textdaten wird unter Verwendung mehrerer Python -Bibliotheken durchgeführt, die den Inhalt verschiedener Dateiformate lesen und sie in einer konsolidierten Textdatei ( ExtractedRawData.txt ) speichern. Die verwendeten Bibliotheken umfassen:

• os
• docx
• csv
• openpyxl
• PyPDF2
• cv2
• pytesseract
• pptx
• selenium (für webbasierte Daten)

Datenvorverarbeitung

Die extrahierten Textdaten werden mit dem Google Gemini AI -Modell vorverarbeitet. In Anbetracht des großen Datensatzes werden die Daten in kleinere Stücke und in Stapeln verarbeitet. Die gereinigten Daten werden in einer Datei namens AllCleanData.txt gespeichert.

Wichtig: Gemini API -Schlüssel

Das Projekt verwendet den Gemini -API -Schlüssel für die Datenreinigung und Trainingsteile. Stellen Sie nach dem Klonen oder Abgabeding des Projekts den Platzhalter in der .env -Datei durch Ihren eigenen Gemini -API -Schlüssel aus.

Training des Gen AI -Modells

Sobald die Daten gereinigt sind, werden im nächsten Schritt Vektor -Einbettungen unter Verwendung des Gemini -AI -Modells erstellt. Der Chatbot verwendet diese Einbetten, um relevante Informationen basierend auf Benutzeranfragen abzurufen, um sicherzustellen, dass sie sich auf seine Domäne konzentriert.

Flask -Backend

Das Flask -Backend ist dafür verantwortlich, die Frontend mit der Verarbeitungslogik des Chatbot zu verbinden. Das Backend behandelt Anfragen und Antworten zwischen der Benutzeroberfläche und dem KI -Modell.

Frontend mit Next.js

Die Benutzeroberfläche wird mit Next.js erstellt und bietet eine benutzerfreundliche Chat-Oberfläche für Mitarbeiter, die mit dem Genaius-Chatbot interagieren können. Das Frontend -Design betont die Zugänglichkeit und Benutzerfreundlichkeit.

Installation

Befolgen Sie die folgenden Schritte, um das Projekt lokal einzurichten:

1. Klonen Sie das Repository:

   git clone https://github.com/Pree-04/Team-GenAIus
   cd GenAIus
   

2. WICHTIG: Achten Sie nach dem Klonen oder Abgegenteil des Projekts sicher, dass Sie die Verzeichnisse und Pfade im Code ändern, um Ihre jeweiligen lokalen Pfade widerzuspiegeln, auf denen Sie die Projektdateien gespeichert haben.

3. Backend -Abhängigkeiten installieren: CD -Backend -PIP Installation -r -Anforderungen.txt

4. Richten Sie die Frontend: CD -Frontend -NPM -Installation ein

5. Erstellen Sie eine .env -Datei im Backend -Verzeichnis und fügen Sie Ihren Gemini -API -Schlüssel hinzu: gemini_api_key = your_gemini_api_key_here

Verwendung

Um den Backend Server auszuführen: CD -Backend Python App.py

So starten Sie das Frontend: CD Frontend NPM Run Dev

Besuchen Sie http: // localhost: 3000, um mit dem Chatbot zu interagieren.

Zukünftige Verbesserungen

End-to-End-Integration: Die Webanwendung vollständig mit einer umfassenden Integration des Chatbots bereitstellen, um deren Zugänglichkeit zu verbessern. Hierarchische Zugriffskontrolle: Implementieren Sie eine Funktion, die den Zugriff auf vertrauliche Daten basierend auf der Position des Mitarbeiters innerhalb der Organisation einschränkt. Dies stellt sicher, dass sensible Informationen nur für Personen mit der entsprechenden Freigabe zugänglich sind.

Beitragen

Beiträge sind willkommen! Bitte erstellen Sie eine Pull -Anfrage oder öffnen Sie ein Problem zur Diskussion.

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert. Weitere Informationen finden Sie in der Lizenzdatei.