หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Genaius KT: ระบบการจัดการความรู้

สารบัญ

  • ภาพรวม
  • โครงสร้างโครงการ
  • ภาพรวมไปป์ไลน์
  • การรวบรวมข้อมูล
  • การสกัดข้อมูล
  • การประมวลผลข้อมูลล่วงหน้า
  • การฝึกอบรมแบบจำลอง Gen AI
  • Backend Flask
  • frontend ด้วย next.js
  • การติดตั้ง
  • การใช้งาน
  • การปรับปรุงในอนาคต
  • การบริจาค
  • ใบอนุญาต

ภาพรวม

Genaius KT เป็นคำถามและคำตอบที่ออกแบบมาสำหรับการจัดการความรู้ภายใน บริษัท มันช่วยพนักงานโดยเฉพาะผู้ฝึกงานและผู้เข้ารับการฝึกอบรมใหม่ในการทำความเข้าใจโครงการต่อเนื่องและโครงการก่อนหน้า chatbot ตอบคำถามที่เกี่ยวข้องกับเนื้อหาการศึกษาและรายละเอียดโครงการทำให้การถ่ายโอนความรู้ไร้รอยต่อและมีประสิทธิภาพ

โครงสร้างโครงการ 

GenAIus/
├── backend/
│   ├── Data/
│   │   └── (Initial raw data of multiple formats)
│   ├── DataChunks/
│   │   └── (Extracted data chunks from all_extracted_data.txt)
│   ├── Downloads/
│   │   └── (Connected with MongoDB to download data)
│   ├── AllCleanData.txt
│   ├── ExtractedRawData.txt
│   ├── app.py
│   ├── cleaningChunks.py
│   ├── downloadRawFiles.py
│   ├── embeddings.json
│   ├── environment.yml
│   ├── extractor.py
│   ├── model.py
│   ├── ScrapeHTML.py
│   ├── splittingDataToChunks.py
│   └── uploadRawFiles.py
├── frontend/
│   └── (Next.js files)
├── README.md 
└── LICENSE

ภาพรวมไปป์ไลน์

ไปป์ไลน์สำหรับ Genaius Chatbot ประกอบด้วยหลายขั้นตอน:

  1. การรวบรวมข้อมูล : การรวบรวมข้อมูล บริษัท จากรูปแบบไฟล์ต่างๆ
  2. การสกัดข้อมูล : การแยกข้อมูลข้อความโดยใช้ไลบรารี Python
  3. การประมวลผลข้อมูลล่วงหน้า : การทำความสะอาดและจัดโครงสร้างข้อมูลที่สกัดโดยใช้แบบจำลอง Gemini AI
  4. การฝึกอบรมแบบจำลอง Gen AI : การสร้างการฝังเวกเตอร์และการฝึกอบรม chatbot
  5. Flask Backend : การตั้งค่าแบ็กเอนด์สำหรับการจัดการคำขอ
  6. การพัฒนาส่วนหน้า : การสร้างอินเทอร์เฟซที่ใช้งานง่ายโดยใช้ next.js

การรวบรวมข้อมูล

ขั้นตอนแรกในท่อเกี่ยวข้องกับการรวบรวมข้อมูลจากเอกสาร บริษัท ต่างๆรวมถึง:

  • PDF
  • Doc/Docx
  • Google เอกสาร (.gdoc)
  • XLS/XLSX
  • Google Sheets
  • ppt/pptx
  • Google สไลด์
  • jpg/png
  • SVG
  • CSV
  • Markdown (MD)
  • txt/json/xml
  • HTML

เนื่องจากข้อมูล บริษัท มักเป็นความลับข้อมูลจำลอง แต่มีการสร้างข้อมูลที่สมจริงในรูปแบบเหล่านี้

การสกัดข้อมูล

การสกัดข้อมูลที่เป็นข้อความดำเนินการโดยใช้ไลบรารี Python หลายแห่งซึ่งอ่านเนื้อหาของรูปแบบไฟล์ต่าง ๆ และบันทึกไว้ในไฟล์ข้อความรวม ( ExtractedRawData.txt ) ห้องสมุดที่ใช้ ได้แก่ :

  • os
  • docx
  • csv
  • openpyxl
  • PyPDF2
  • cv2
  • pytesseract
  • pptx
  • selenium (สำหรับข้อมูลบนเว็บ)

การประมวลผลข้อมูลล่วงหน้า

ข้อมูลข้อความที่แยกออกมานั้นถูกประมวลผลล่วงหน้าโดยใช้โมเดล Google Gemini AI เมื่อพิจารณาจากชุดข้อมูลขนาดใหญ่ข้อมูลจะถูกแบ่งออกเป็นชิ้นเล็ก ๆ และประมวลผลเป็นแบทช์ ข้อมูลที่ทำความสะอาดจะถูกบันทึกลงในไฟล์ที่เรียกว่า AllCleanData.txt

สำคัญ: คีย์ Gemini API

โครงการใช้คีย์ Gemini API สำหรับการทำความสะอาดข้อมูลและชิ้นส่วนการฝึกอบรม หลังจากโคลนนิ่งหรือฟอร์กโครงการตรวจสอบให้แน่ใจว่าได้แทนที่ตัวยึดตำแหน่งในไฟล์ .env ด้วยคีย์ Gemini API ของคุณเอง

การฝึกอบรมแบบจำลอง Gen AI

เมื่อข้อมูลได้รับการทำความสะอาดขั้นตอนต่อไปคือการสร้าง embeddings เวกเตอร์โดยใช้โมเดล Gemini AI chatbot ใช้ embeddings เหล่านี้เพื่อดึงข้อมูลที่เกี่ยวข้องตามการสืบค้นผู้ใช้เพื่อให้แน่ใจว่ามันยังคงมุ่งเน้นไปที่โดเมน

Backend Flask

แบ็กเอนด์ Flask มีหน้าที่เชื่อมต่อส่วนหน้าเข้ากับตรรกะการประมวลผลของ Chatbot แบ็กเอนด์จัดการคำขอและการตอบสนองระหว่างส่วนต่อประสานผู้ใช้และโมเดล AI

frontend ด้วย next.js

อินเทอร์เฟซผู้ใช้ถูกสร้างขึ้นโดยใช้ next.js ซึ่งให้อินเทอร์เฟซแชทที่ใช้งานง่ายสำหรับพนักงานในการโต้ตอบกับ Genaius Chatbot การออกแบบส่วนหน้าเน้นการเข้าถึงและความสะดวกในการใช้งาน

การติดตั้ง

หากต้องการตั้งค่าโครงการในพื้นที่ให้ทำตามขั้นตอนเหล่านี้:

  1. โคลนที่เก็บ: 

    git clone https://github.com/Pree-04/Team-GenAIus
cd GenAIus

  2. สำคัญ: หลังจากโคลนนิ่งหรือฟอร์กโครงการตรวจสอบให้แน่ใจว่าได้เปลี่ยนไดเรกทอรีและเส้นทางในรหัสเพื่อสะท้อนเส้นทางท้องถิ่นของคุณซึ่งคุณได้บันทึกไฟล์โครงการ

  3. ติดตั้งการพึ่งพาแบ็กเอนด์: CD Backend PIP Install -r rechent.txt

  4. ตั้งค่า Frontend: CD Frontend NPM ติดตั้ง

  5. สร้างไฟล์. env ในไดเรกทอรีแบ็กเอนด์และเพิ่มคีย์ Gemini API ของคุณ: gemini_api_key = your_gemini_api_key_here

การใช้งาน

ในการเรียกใช้เซิร์ฟเวอร์แบ็กเอนด์: ซีดีแบ็กเอนด์แอป Python.py

ในการเริ่มต้นส่วนหน้า: CD Frontend NPM Run Dev

เยี่ยมชม http: // localhost: 3000 เพื่อโต้ตอบกับ chatbot

การปรับปรุงในอนาคต

การรวมแบบ end-to-end: ปรับใช้เว็บแอปพลิเคชันอย่างเต็มที่ด้วยการรวมที่ครอบคลุมของ chatbot เพื่อปรับปรุงการเข้าถึง การควบคุมการเข้าถึงแบบลำดับชั้น: ใช้คุณสมบัติที่ จำกัด การเข้าถึงข้อมูลที่เป็นความลับตามตำแหน่งของพนักงานภายในองค์กร สิ่งนี้ทำให้มั่นใจได้ว่าข้อมูลที่ละเอียดอ่อนสามารถเข้าถึงได้เฉพาะผู้ที่มีการกวาดล้างที่เหมาะสมเท่านั้น

การบริจาค

ยินดีต้อนรับ! โปรดสร้างคำขอดึงหรือเปิดปัญหาสำหรับการสนทนา

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด