Multimodal AI Chat Application

แอพพลิเคชั่นหลายรูปแบบ

คุณสมบัติ

• การรวมโมเดลเชิงปริมาณ : แอพนี้ใช้สิ่งที่เรียกว่า "โมเดลเชิงปริมาณ" สิ่งเหล่านี้พิเศษเพราะพวกเขาได้รับการออกแบบให้ทำงานได้ดีกับฮาร์ดแวร์ผู้บริโภคทั่วไปเช่นเดียวกับที่พวกเราส่วนใหญ่มีที่บ้านหรือในสำนักงานของเรา โดยปกติรุ่นดั้งเดิมของรุ่นเหล่านี้มีขนาดใหญ่มากและต้องการคอมพิวเตอร์ที่มีประสิทธิภาพมากกว่าในการเรียกใช้ แต่โมเดลเชิงปริมาณได้รับการปรับให้มีขนาดเล็กลงและมีประสิทธิภาพมากขึ้นโดยไม่สูญเสียประสิทธิภาพมากนัก ซึ่งหมายความว่าคุณสามารถใช้แอพนี้และคุณสมบัติของมันได้โดยไม่ต้องใช้คอมพิวเตอร์ที่ทรงพลังมาก โมเดลเชิงปริมาณจาก Thebloke

• การแชทเสียงกับ Whisper AI : การใช้ประโยชน์จากความสามารถในการถอดความที่แข็งแกร่งของ Whisper AI แอพนี้มอบประสบการณ์การส่งข้อความเสียงที่ซับซ้อน การบูรณาการของ Whisper AI ช่วยให้การตีความที่แม่นยำและการตอบสนองต่ออินพุตเสียงช่วยเพิ่มการไหลของการสนทนาตามธรรมชาติ รุ่นกระซิบ

• การแชทภาพกับ LLAVA : แอปรวม LLAVA สำหรับการประมวลผลภาพซึ่งเป็นรูปแบบ Llama ที่ปรับแต่งอย่างละเอียดพร้อมเพื่อทำความเข้าใจกับการฝังภาพ การฝังตัวเหล่านี้ถูกสร้างขึ้นโดยใช้แบบจำลองคลิปทำให้ฟังก์ชั่น LLAVA เหมือนไปป์ไลน์ที่รวบรวมข้อความและความเข้าใจภาพขั้นสูงเข้าด้วยกัน ด้วย LLAVA ประสบการณ์การแชทจะมีการโต้ตอบและมีส่วนร่วมมากขึ้นโดยเฉพาะอย่างยิ่งเมื่อพูดถึงการจัดการและสนทนาเกี่ยวกับเนื้อหาภาพ llama-cpp-python repo สำหรับการโหลด LLAVA

• การแชท PDF กับ Chroma DB : แอพได้รับการปรับแต่งสำหรับการใช้งานทั้งระดับมืออาชีพและเชิงวิชาการรวม Chroma DB เป็นฐานข้อมูลเวกเตอร์สำหรับการโต้ตอบ PDF ที่มีประสิทธิภาพ คุณสมบัตินี้ช่วยให้ผู้ใช้มีส่วนร่วมกับไฟล์ PDF ของตัวเองในเครื่องบนอุปกรณ์ของพวกเขา ไม่ว่าจะเป็นการตรวจสอบรายงานทางธุรกิจเอกสารทางวิชาการหรือเอกสาร PDF อื่น ๆ แอปนำเสนอประสบการณ์ที่ราบรื่น มันเป็นวิธีที่มีประสิทธิภาพสำหรับผู้ใช้ในการโต้ตอบกับ PDF ของพวกเขาใช้ประโยชน์จากพลังของ AI เพื่อทำความเข้าใจและตอบสนองต่อเนื้อหาภายในเอกสารเหล่านี้ สิ่งนี้ทำให้เป็นเครื่องมือที่มีค่าสำหรับการใช้งานส่วนตัวซึ่งสามารถแยกข้อมูลเชิงลึกสรุปและมีส่วนร่วมในรูปแบบการสนทนาที่ไม่ซ้ำกันกับข้อความในไฟล์ PDF ของพวกเขา เว็บไซต์ Chroma

เริ่มต้น

ในการเริ่มต้นด้วยการแชท AI หลายรูปแบบในท้องถิ่นโคลนที่เก็บและทำตามขั้นตอนง่ายๆเหล่านี้:

1. สร้างสภาพแวดล้อมเสมือน จริง: ฉันกำลังใช้ Python 3.10.12 ปัจจุบัน

2. อัพเกรด PIP : pip install --upgrade pip

3. ข้อกำหนดการติดตั้ง : pip install -r requirements.txt

   ผู้ใช้ Windows: การติดตั้งอาจแตกต่างกันเล็กน้อยสำหรับคุณหากคุณพบข้อผิดพลาดที่คุณไม่สามารถแก้ไขได้โปรดเปิดปัญหาที่นี่ใน GitHub

4. การตั้งค่ารุ่นท้องถิ่น : ดาวน์โหลดรุ่นที่คุณต้องการใช้ นี่คือรุ่น LLAVA ที่ฉันใช้สำหรับการแชทรูปภาพ (GGML-MODEL-Q5_K.GGUF และ MMPROJ-MODEL-F16.GGUF) และแบบจำลอง mistral เชิงปริมาณเป็นรูปแบบ Thebloke (mistral-7b-instruct-v0.1.q5_k_m.gguf)

5. ปรับแต่งไฟล์กำหนดค่า : ตรวจสอบไฟล์กำหนดค่าและเปลี่ยนตามแบบจำลองที่คุณดาวน์โหลด

6. ตัวเลือก - เปลี่ยนรูปภาพโปรไฟล์ : วาง user_image.pnd และ/หรือ bot_image.png ภายในโฟลเดอร์ chat_icons

7. ป้อนคำสั่งในเทอร์มินัล :

   1. python3 database_operations.py สิ่งนี้จะเริ่มต้นฐานข้อมูล SQLite สำหรับเซสชันการแชท
   2. streamlit run app.py

การปรับปรุงที่เป็นไปได้

• เพิ่มโมเดลแคช
• เพิ่มรูปภาพและเสียงเพื่อบันทึกประวัติการแชทและการโหลด
• ใช้ฐานข้อมูลเพื่อบันทึกประวัติการแชท
• รวม Ollama, Openai, Gemini หรือผู้ให้บริการรุ่นอื่น ๆ
• เพิ่มโมเดลเครื่องกำเนิดภาพ
• กลไกการตรวจสอบความถูกต้อง
• เปลี่ยนธีม
• แยกส่วนหน้าและรหัสแบ็กเอนด์เพื่อการปรับใช้ที่ดีขึ้น