Team GenAIus

Genaius KT: Sistema de gestión del conocimiento

Tabla de contenido

• Descripción general
• Estructura de proyectos
• Descripción general de la tubería
• Recopilación de datos
• Extracción de datos
• Preprocesamiento de datos
• Entrenamiento del modelo Gen AI
• Backend
• Frontend con Next.js
• Instalación
• Uso
• Mejoras futuras
• Que contribuye
• Licencia

Descripción general

Genaius KT es un chatbot de preguntas y respuestas diseñadas para la gestión del conocimiento dentro de una empresa. Ayuda a los empleados, especialmente a nuevos pasantes y aprendices, a comprender proyectos continuos y anteriores. El chatbot responde a consultas relacionadas con el contenido educativo y los detalles del proyecto, haciendo que la transferencia de conocimiento sea perfecta y eficiente.

Estructura de proyectos

GenAIus/
├── backend/
│   ├── Data/
│   │   └── (Initial raw data of multiple formats)
│   ├── DataChunks/
│   │   └── (Extracted data chunks from all_extracted_data.txt)
│   ├── Downloads/
│   │   └── (Connected with MongoDB to download data)
│   ├── AllCleanData.txt
│   ├── ExtractedRawData.txt
│   ├── app.py
│   ├── cleaningChunks.py
│   ├── downloadRawFiles.py
│   ├── embeddings.json
│   ├── environment.yml
│   ├── extractor.py
│   ├── model.py
│   ├── ScrapeHTML.py
│   ├── splittingDataToChunks.py
│   └── uploadRawFiles.py
├── frontend/
│   └── (Next.js files)
├── README.md 
└── LICENSE

Descripción general de la tubería

La tubería para Genaius Chatbot consta de varios pasos:

1. Recopilación de datos : recopilar datos de la compañía de varios formatos de archivo.
2. Extracción de datos : extracción de datos textuales utilizando bibliotecas de Python.
3. Preprocesamiento de datos : limpieza y estructuración de los datos extraídos utilizando el modelo Gemini AI.
4. Entrenamiento del modelo Gen AI : creación de integridades vectoriales y capacitación del chatbot.
5. Backend de frasco : configurar el backend para las solicitudes de manejo.
6. Desarrollo frontend : construir una interfaz fácil de usar usando Next.js.

Recopilación de datos

El primer paso en la tubería implica recopilar datos de varios documentos de la compañía, que incluyen:

• Pdf
• Doc/docx
• Google Docs (.gdoc)
• Xls/xlsx
• Hojas de Google
• PPT/PPTX
• Diapositivas de Google
• JPG/PNG
• SVG
• CSV
• Markdown (MD)
• Txt/json/xml
• Html

Dado que los datos de la compañía son a menudo confidenciales, ficticios pero se han creado datos realistas en estos formatos.

Extracción de datos

La extracción de datos textuales se realiza utilizando varias bibliotecas de Python, que leen el contenido de varios formatos de archivo y las guarden en un archivo de texto consolidado ( ExtractedRawData.txt ). Las bibliotecas utilizadas incluyen:

• os
• docx
• csv
• openpyxl
• PyPDF2
• cv2
• pytesseract
• pptx
• selenium (para datos basados ​​en la web)

Preprocesamiento de datos

Los datos textuales extraídos se preprocesan utilizando el modelo Google Gemini AI. Dado el gran conjunto de datos, los datos se fragmentan en piezas más pequeñas y se procesan en lotes. Los datos limpios se guardan en un archivo llamado AllCleanData.txt .

IMPORTANTE: Clave de API de Géminis

El proyecto utiliza la clave de la API Gemini para las piezas de limpieza y capacitación de datos. Después de clonar o bifurgar el proyecto, asegúrese de reemplazar al marcador de posición en el archivo .env con su propia clave de API Gemini.

Entrenamiento del modelo Gen AI

Una vez que se limpian los datos, el siguiente paso es crear embedidas vectoriales utilizando el modelo Gemini AI. El chatbot utiliza estos incrustaciones para recuperar información relevante basada en consultas de los usuarios, asegurando que permanezca enfocado en su dominio.

Backend

El backend frascos es responsable de conectar el frontend a la lógica de procesamiento del chatbot. El backend maneja solicitudes y respuestas entre la interfaz de usuario y el modelo AI.

Frontend con Next.js

La interfaz de usuario se crea utilizando Next.js, proporcionando una interfaz de chat fácil de usar para que los empleados interactúen con Genaius ChatBot. El diseño frontend enfatiza la accesibilidad y la facilidad de uso.

Instalación

Para configurar el proyecto localmente, siga estos pasos:

1. Clon el repositorio:

   git clone https://github.com/Pree-04/Team-GenAIus
   cd GenAIus
   

2. IMPORTANTE: Después de clonarse o bifurgar el proyecto, asegúrese de cambiar los directorios y rutas en el código para reflejar sus respectivas rutas locales donde ha guardado los archivos del proyecto.

3. Instalar dependencias de backend: Backend de CD PIP Install -R Requisitos.txt

4. Configurar el frontend: instalación de CD frontend NPM

5. Cree un archivo .env en el directorio de backend y agregue su tecla API Gemini: gemini_api_key = your_gemini_api_key_here

Uso

Para ejecutar el servidor de backend: CD Backend Python App.py

Para comenzar el frontend: CD frontend npm run dev dev

Visite http: // localhost: 3000 para interactuar con el chatbot.

Mejoras futuras

Integración de extremo a extremo: implementa completamente la aplicación web con integración integral del chatbot para mejorar su accesibilidad. Control de acceso jerárquico: implementa una característica que restringe el acceso a datos confidenciales basados ​​en la posición del empleado dentro de la organización. Esto asegura que la información confidencial solo sea accesible para aquellos con la autorización adecuada.

Que contribuye

¡Las contribuciones son bienvenidas! Cree una solicitud de extracción o abra un problema para la discusión.

Licencia

Este proyecto tiene licencia bajo la licencia MIT. Consulte el archivo de licencia para obtener más detalles.