Team GenAIus

Genaius KT: Система управления знаниями

Оглавление

• Обзор
• Структура проекта
• Обзор трубопровода
• Сбор данных
• Извлечение данных
• Предварительная обработка данных
• Обучение модели Gen AI
• Флеста Бэкэнд
• Фронт с next.js
• Установка
• Использование
• Будущие улучшения
• Внося
• Лицензия

Обзор

Genaius KT - это чат -бот вопросов и ответов, предназначенный для управления знаниями в компании. Это помогает сотрудникам, особенно новым стажерам и стажерам, в понимании текущих и предыдущих проектов. Чат -бот отвечает на запросы, связанные с образовательным контентом и деталями проекта, что делает передачу знаний бесшовной и эффективной.

Структура проекта

GenAIus/
├── backend/
│   ├── Data/
│   │   └── (Initial raw data of multiple formats)
│   ├── DataChunks/
│   │   └── (Extracted data chunks from all_extracted_data.txt)
│   ├── Downloads/
│   │   └── (Connected with MongoDB to download data)
│   ├── AllCleanData.txt
│   ├── ExtractedRawData.txt
│   ├── app.py
│   ├── cleaningChunks.py
│   ├── downloadRawFiles.py
│   ├── embeddings.json
│   ├── environment.yml
│   ├── extractor.py
│   ├── model.py
│   ├── ScrapeHTML.py
│   ├── splittingDataToChunks.py
│   └── uploadRawFiles.py
├── frontend/
│   └── (Next.js files)
├── README.md 
└── LICENSE

Обзор трубопровода

Трубопровод для чатбота Genaius состоит из нескольких шагов:

1. Сбор данных : Сбор данных компании из различных форматов файлов.
2. Извлечение данных : извлечение текстовых данных с использованием библиотек Python.
3. Предварительная обработка данных : очистка и структурирование извлеченных данных с использованием модели AI Gemini.
4. Обучение модели Gen AI : создание векторных внедрений и обучение чат -бота.
5. Бэкэнд Флеска : Настройка бэкэнда для обработки запросов.
6. Разработка фронта : создание удобного интерфейса с использованием next.js.

Сбор данных

Первый шаг в трубопроводе включает в себя сбор данных из различных документов компании, включая:

• PDF
• Док/Докс
• Google Docs (.gdoc)
• XLS/XLSX
• Google Sheets
• Ppt/pptx
• Google слайды
• JPG/PNG
• Svg
• CSV
• Markdown (MD)
• Txt/json/xml
• HTML

Поскольку данные компании часто являются конфиденциальными, в этих форматах были созданы фиктивные, но реалистичные данные.

Извлечение данных

Извлечение текстовых данных выполняется с использованием нескольких библиотек Python, которые считывают содержимое различных форматов файлов и сохраняют их в консолидированном текстовом файле ( ExtractedRawData.txt ). Используемые библиотеки включают:

• os
• docx
• csv
• openpyxl
• PyPDF2
• cv2
• pytesseract
• pptx
• selenium (для веб-данных)

Предварительная обработка данных

Извлеченные текстовые данные предварительно обрабатываются с использованием модели AI Google Gemini. Учитывая большой набор данных, данные разбиваются в более мелкие части и обрабатываются партиями. Очищенные данные сохраняются в файл под названием AllCleanData.txt .

ВАЖНО: Ключ API Gemini

Проект использует ключ API Gemini для очистки данных и тренировочных частей. После клонирования или подразделения проекта обязательно замените заполнителя в файле .env своим собственным ключом API Gemini.

Обучение модели Gen AI

Как только данные очищаются, следующим шагом является создание векторных встроений с использованием модели ИИ Близнецов. Чатбот использует эти встраивания для получения соответствующей информации на основе запросов пользователей, гарантируя, что он остается сосредоточенным на своем домене.

Флеста Бэкэнд

Бэкэнд Flask отвечает за подключение фронта к логике обработки чат -бота. Бэкэнд обрабатывает запросы и ответы между пользовательским интерфейсом и моделью ИИ.

Фронт с next.js

Пользовательский интерфейс создан с использованием Next.js, предоставляя удобный интерфейс чата для сотрудников для взаимодействия с Chatbot Genaius. Дизайн фронта подчеркивает доступность и простоту использования.

Установка

Чтобы настроить проект локально, выполните эти шаги:

1. Клонировать репозиторий:

   git clone https://github.com/Pree-04/Team-GenAIus
   cd GenAIus
   

2. Важно: после клонирования или подрыва проекта обязательно измените каталоги и пути в коде, чтобы отразить ваши соответствующие локальные пути, где вы сохранили файлы проекта.

3. Установите Backend зависимостей: CD Backend Install -RIP -r TEDS.TXT

4. Установите Frontend: CD Frontend NPM Install

5. Создайте файл .env в каталоге Backend и добавьте свой клавиша API Gemini: Gemini_api_key = your_gemini_api_key_here

Использование

Для запуска сервера бэкэнд: бэкэнд CD Python App.py

Чтобы запустить Frontend: CD Frontend NPM Run Dev Dev

Посетите http: // localhost: 3000, чтобы взаимодействовать с чатботом.

Будущие улучшения

Средняя интеграция: полностью развернуть веб-приложение с комплексной интеграцией чат-бота для повышения его доступности. Управление иерархическим доступом: реализуйте функцию, которая ограничивает доступ к конфиденциальным данным на основе позиции сотрудника в организации. Это гарантирует, что конфиденциальная информация доступна только для тех, кто имеет соответствующее разрешение.

Внося

Взносы приветствуются! Пожалуйста, создайте запрос на привлечение или откройте проблему для обсуждения.

Лицензия

Этот проект лицензирован по лицензии MIT. Смотрите файл лицензии для получения подробной информации.