Team GenAIus

Genaius KT: Sistem Manajemen Pengetahuan

Daftar isi

• Ringkasan
• Struktur proyek
• Tinjauan Pipa
• Pengumpulan data
• Ekstraksi data
• Preprocessing data
• Melatih model gen ai
• Backend Labu
• Frontend dengan Next.js
• Instalasi
• Penggunaan
• Perbaikan di masa depan
• Berkontribusi
• Lisensi

Ringkasan

Genaius KT adalah chatbot T&J yang dirancang untuk manajemen pengetahuan dalam suatu perusahaan. Ini membantu karyawan, terutama magang dan peserta pelatihan baru, dalam memahami proyek yang sedang berlangsung dan sebelumnya. Chatbot menanggapi pertanyaan yang terkait dengan konten pendidikan dan detail proyek, membuat transfer pengetahuan mulus dan efisien.

Struktur proyek

GenAIus/
├── backend/
│   ├── Data/
│   │   └── (Initial raw data of multiple formats)
│   ├── DataChunks/
│   │   └── (Extracted data chunks from all_extracted_data.txt)
│   ├── Downloads/
│   │   └── (Connected with MongoDB to download data)
│   ├── AllCleanData.txt
│   ├── ExtractedRawData.txt
│   ├── app.py
│   ├── cleaningChunks.py
│   ├── downloadRawFiles.py
│   ├── embeddings.json
│   ├── environment.yml
│   ├── extractor.py
│   ├── model.py
│   ├── ScrapeHTML.py
│   ├── splittingDataToChunks.py
│   └── uploadRawFiles.py
├── frontend/
│   └── (Next.js files)
├── README.md 
└── LICENSE

Tinjauan Pipa

Pipa untuk chatbot Genaius terdiri dari beberapa langkah:

1. Pengumpulan Data : Mengumpulkan data perusahaan dari berbagai format file.
2. Ekstraksi data : Mengekstraksi data tekstual menggunakan pustaka Python.
3. Preprocessing data : Membersihkan dan menyusun data yang diekstraksi menggunakan model Gemini AI.
4. Melatih model AI Gen : Membuat embeddings vektor dan melatih chatbot.
5. Flask Backend : Menyiapkan backend untuk menangani permintaan.
6. Pengembangan Frontend : Membangun Antarmuka Ramah Pengguna Menggunakan Next.Js.

Pengumpulan data

Langkah pertama dalam pipa melibatkan pengumpulan data dari berbagai dokumen perusahaan, termasuk:

• Pdf
• DOC/DOCX
• Google Documents (.gdoc)
• XLS/XLSX
• Google Sheets
• Ppt/pptx
• Google Slide
• Jpg/png
• SVG
• CSV
• Markdown (MD)
• Txt/json/xml
• Html

Karena data perusahaan sering bersifat rahasia, data boneka tetapi realistis telah dibuat dalam format ini.

Ekstraksi data

Ekstraksi data tekstual dilakukan dengan menggunakan beberapa pustaka Python, yang membaca isi dari berbagai format file dan menyimpannya ke file teks konsolidasi ( ExtractedRawData.txt ). Perpustakaan yang digunakan meliputi:

• os
• docx
• csv
• openpyxl
• PyPDF2
• cv2
• pytesseract
• pptx
• selenium (untuk data berbasis web)

Preprocessing data

Data tekstual yang diekstraksi diproses dengan menggunakan model AI Google Gemini. Mengingat dataset yang besar, data dipotong menjadi potongan -potongan kecil dan diproses dalam batch. Data yang dibersihkan disimpan ke dalam file yang disebut AllCleanData.txt .

Penting: Kunci API Gemini

Proyek ini menggunakan kunci API Gemini untuk pembersihan data dan bagian pelatihan. Setelah mengkloning atau mencari proyek, pastikan untuk mengganti placeholder di file .env dengan kunci API Gemini Anda sendiri.

Melatih model gen ai

Setelah data dibersihkan, langkah selanjutnya adalah membuat embeddings vektor menggunakan model Gemini AI. Chatbot menggunakan embeddings ini untuk mengambil informasi yang relevan berdasarkan pertanyaan pengguna, memastikan tetap fokus pada domainnya.

Backend Labu

Backend Flask bertanggung jawab untuk menghubungkan frontend ke logika pemrosesan chatbot. Backend menangani permintaan dan respons antara antarmuka pengguna dan model AI.

Frontend dengan Next.js

Antarmuka pengguna dibangun menggunakan Next.js, menyediakan antarmuka obrolan yang ramah pengguna bagi karyawan untuk berinteraksi dengan Genaius Chatbot. Desain Frontend menekankan aksesibilitas dan kemudahan penggunaan.

Instalasi

Untuk mengatur proyek secara lokal, ikuti langkah -langkah ini:

1. Klon Repositori:

   git clone https://github.com/Pree-04/Team-GenAIus
   cd GenAIus
   

2. PENTING: Setelah mengkloning atau mencari proyek, pastikan untuk mengubah direktori dan jalur dalam kode untuk mencerminkan jalur lokal Anda masing -masing di mana Anda telah menyimpan file proyek.

3. Instal Backend Dependencies: CD Backend Pip Install -R Persyaratan.txt

4. Atur The Frontend: CD Frontend NPM Instal

5. Buat file .env di direktori backend dan tambahkan kunci API Gemini Anda: gemini_api_key = your_gemini_api_key_here

Penggunaan

Untuk menjalankan server backend: cd backend python app.py

Untuk Memulai Frontend: CD Frontend NPM Run Dev

Kunjungi http: // localhost: 3000 untuk berinteraksi dengan chatbot.

Perbaikan di masa depan

Integrasi end-to-end: Menyebarkan sepenuhnya aplikasi web dengan integrasi komprehensif chatbot untuk meningkatkan aksesibilitasnya. Kontrol Akses Hierarkis: Menerapkan fitur yang membatasi akses ke data rahasia berdasarkan posisi karyawan dalam organisasi. Ini memastikan bahwa informasi sensitif hanya dapat diakses oleh mereka yang memiliki izin yang sesuai.

Berkontribusi

Kontribusi dipersilakan! Harap buat permintaan tarik atau buka masalah untuk diskusi.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT. Lihat file lisensi untuk detailnya.