Team GenAIus

Genaius KT : 지식 관리 시스템

목차

• 개요
• 프로젝트 구조
• 파이프 라인 개요
• 데이터 수집
• 데이터 추출
• 데이터 전처리
• Gen AI 모델 교육
• 플라스크 백엔드
• Next.js와의 프론트 엔드
• 설치
• 용법
• 향후 개선
• 기여
• 특허

개요

Genaius KT는 회사 내에서 지식 관리를 위해 설계된 Q & A 챗봇입니다. 그것은 직원, 특히 새로운 인턴과 연수생을 지속적으로 그리고 이전 프로젝트를 이해하는 데 도움이됩니다. 챗봇은 교육 내용 및 프로젝트 세부 사항과 관련된 쿼리에 응답하여 지식 전송이 원활하고 효율적입니다.

프로젝트 구조

GenAIus/
├── backend/
│   ├── Data/
│   │   └── (Initial raw data of multiple formats)
│   ├── DataChunks/
│   │   └── (Extracted data chunks from all_extracted_data.txt)
│   ├── Downloads/
│   │   └── (Connected with MongoDB to download data)
│   ├── AllCleanData.txt
│   ├── ExtractedRawData.txt
│   ├── app.py
│   ├── cleaningChunks.py
│   ├── downloadRawFiles.py
│   ├── embeddings.json
│   ├── environment.yml
│   ├── extractor.py
│   ├── model.py
│   ├── ScrapeHTML.py
│   ├── splittingDataToChunks.py
│   └── uploadRawFiles.py
├── frontend/
│   └── (Next.js files)
├── README.md 
└── LICENSE

파이프 라인 개요

Genaius 챗봇의 파이프 라인은 여러 단계로 구성됩니다.

1. 데이터 수집 : 다양한 파일 형식의 회사 데이터 수집.
2. 데이터 추출 : 파이썬 라이브러리를 사용하여 텍스트 데이터 추출.
3. 데이터 전처리 : Gemini AI 모델을 사용하여 추출 된 데이터를 청소 및 구조화합니다.
4. Gen AI 모델 교육 : 벡터 임베딩 생성 및 챗봇 훈련.
5. 플라스크 백엔드 : 요청 처리를위한 백엔드 설정.
6. Frontend Development : Next.js를 사용하여 사용자 친화적 인 인터페이스 구축

데이터 수집

파이프 라인의 첫 번째 단계는 다음을 포함하여 다양한 회사 문서에서 데이터를 수집하는 것입니다.

• PDF
• DOC/DOCX
• Google Docs (.gdoc)
• XLS/XLSX
• Google 시트
• ppt/pptx
• Google 슬라이드
• JPG/PNG
• SVG
• CSV
• 마크 다운 (MD)
• txt/json/xml
• HTML

회사 데이터는 종종 기밀이기 때문에 더미이지만 사실적인 데이터는 이러한 형식으로 생성되었습니다.

데이터 추출

텍스트 데이터 추출은 다양한 파일 형식의 내용을 읽고 통합 텍스트 파일 ( ExtractedRawData.txt )에 저장하는 여러 파이썬 라이브러리를 사용하여 수행됩니다. 사용 된 라이브러리에는 다음이 포함됩니다.

• os
• docx
• csv
• openpyxl
• PyPDF2
• cv2
• pytesseract
• pptx
• selenium (웹 기반 데이터 용)

데이터 전처리

추출 된 텍스트 데이터는 Google Gemini AI 모델을 사용하여 전처리됩니다. 큰 데이터 세트가 주어지면 데이터는 작은 조각으로 뭉쳐져 배치로 처리됩니다. 정리 된 데이터는 AllCleanData.txt 라는 파일에 저장됩니다.

중요 : Gemini API 키

이 프로젝트는 데이터 청소 및 교육 부품에 Gemini API 키를 활용합니다. 프로젝트를 복제하거나 포킹 한 후 .env 파일의 자리 표시자를 자신의 Gemini API 키로 교체하십시오.

Gen AI 모델 교육

데이터가 정리되면 다음 단계는 Gemini AI 모델을 사용하여 벡터 임베딩을 생성하는 것입니다. 챗봇은 이러한 임베딩을 사용하여 사용자 쿼리를 기반으로 관련 정보를 검색하여 도메인에 집중할 수 있도록합니다.

플라스크 백엔드

플라스크 백엔드는 프론트 엔드를 챗봇의 처리 로직에 연결하는 데 도움이됩니다. 백엔드는 사용자 인터페이스와 AI 모델 간의 요청 및 응답을 처리합니다.

Next.js와의 프론트 엔드

사용자 인터페이스는 Next.js를 사용하여 구축되며 직원이 Genaius Chatbot과 상호 작용할 수있는 사용자 친화적 인 채팅 인터페이스를 제공합니다. 프론트 엔드 디자인은 접근성과 사용 편의성을 강조합니다.

설치

로컬로 프로젝트를 설정하려면 다음 단계를 따르십시오.

1. 저장소 복제 :

   git clone https://github.com/Pree-04/Team-GenAIus
   cd GenAIus
   

2. 중요 : 프로젝트를 복제하거나 포킹 한 후 프로젝트 파일을 저장 한 각 지역 경로를 반영하기 위해 코드의 디렉토리와 경로를 변경하십시오.

3. 백엔드 종속성 설치 : CD 백엔드 PIP 설치 -R 요구 사항 .txt

4. Frontend : CD Frontend NPM 설치를 설정하십시오

5. 백엔드 디렉토리에서 .env 파일을 만들고 Gemini API 키를 추가하십시오. gemini_api_key = Your_gemini_api_key_here

용법

백엔드 서버를 실행하려면 : CD 백엔드 Python app.py

프론트 엔드를 시작하려면 : CD Frontend NPM Run Dev

챗봇과 상호 작용하려면 http : // localhost : 3000을 방문하십시오.

향후 개선

엔드 투 엔드 통합 : 챗봇의 포괄적 인 통합으로 웹 애플리케이션을 완전히 배포하여 접근성을 향상시킵니다. 계층 적 액세스 제어 : 조직 내 직원의 위치에 따라 기밀 데이터에 대한 액세스를 제한하는 기능을 구현합니다. 이를 통해 민감한 정보가 적절한 간격을 가진 사람들에게만 액세스 할 수 있습니다.

기여

기부금을 환영합니다! 풀 요청을 작성하거나 토론을위한 문제를 열어주십시오.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.