Multimodal AI Chat Application

Aplikasi multimodal-ai-chat

Fitur

• Integrasi Model Terkuantisasi : Aplikasi ini menggunakan apa yang disebut "model terkuantisasi." Ini istimewa karena dirancang untuk bekerja dengan baik pada perangkat keras konsumen biasa, seperti yang kebanyakan dari kita miliki di rumah atau di kantor kami. Biasanya, versi asli dari model ini sangat besar dan membutuhkan komputer yang lebih kuat untuk menjalankannya. Tetapi model terkuantisasi dioptimalkan untuk menjadi lebih kecil dan lebih efisien, tanpa kehilangan banyak kinerja. Ini berarti Anda dapat menggunakan aplikasi ini dan fitur -fiturnya tanpa membutuhkan komputer yang sangat kuat. Model terkuantisasi dari Thebloke

• Obrolan audio dengan Whisper AI : Memanfaatkan kemampuan transkripsi yang kuat dari Whisper AI, aplikasi ini menawarkan pengalaman pesan audio yang canggih. Integrasi Whisper AI memungkinkan interpretasi yang akurat dan respons terhadap input suara, meningkatkan aliran alami percakapan. Model Whisper

• Obrolan gambar dengan LLAVA : Aplikasi ini mengintegrasikan LLAVA untuk pemrosesan gambar, yang pada dasarnya merupakan model Llama yang disesuaikan dengan fine yang dilengkapi untuk memahami embeddings gambar. Embeddings ini dihasilkan menggunakan model klip, membuat fungsi LLAVA seperti pipa yang menyatukan teks canggih dan pemahaman gambar. Dengan LLAVA, pengalaman obrolan menjadi lebih interaktif dan menarik, terutama ketika datang untuk menangani dan berbicara tentang konten visual. Llama-cpp-python repo untuk pemuatan llava

• Obrolan PDF dengan Chroma DB : Aplikasi ini dirancang untuk penggunaan profesional dan akademik, mengintegrasikan Chroma DB sebagai database vektor untuk interaksi PDF yang efisien. Fitur ini memungkinkan pengguna untuk terlibat dengan file PDF mereka sendiri secara lokal di perangkat mereka. Baik itu untuk meninjau laporan bisnis, makalah akademik, atau dokumen PDF lainnya, aplikasi ini menawarkan pengalaman yang mulus. Ini memberikan cara yang efektif bagi pengguna untuk berinteraksi dengan PDF mereka, memanfaatkan kekuatan AI untuk memahami dan menanggapi konten dalam dokumen -dokumen ini. Ini menjadikannya alat yang berharga untuk penggunaan pribadi, di mana seseorang dapat mengekstraksi wawasan, ringkasan, dan terlibat dalam bentuk dialog yang unik dengan teks dalam file PDF mereka. Situs web Chroma

Memulai

Untuk memulai dengan obrolan AI multimodal lokal, klon repositori dan ikuti langkah -langkah sederhana ini:

1. Buat lingkungan virtual : Saya menggunakan Python 3.10.12 saat ini

2. Tingkatkan Pip : pip install --upgrade pip

3. Instal Persyaratan : pip install -r requirements.txt

   Pengguna Windows: Instalasi mungkin sedikit berbeda untuk Anda, jika Anda mengalami kesalahan yang tidak dapat Anda selesaikan, silakan buka masalah di sini di GitHub.

4. Menyiapkan Model Lokal : Unduh model yang ingin Anda terapkan. Berikut adalah model LLAVA yang saya gunakan untuk obrolan gambar (GGML-MODEL-Q5_K.GGUF dan MMPROJ-MODEL-F16.GGUF). Dan model Mistral yang terkuantisasi membentuk thebloke (Mistral-7b-instruct-V0.1.q5_k_m.gguf).

5. Kustomisasi file konfigurasi : Periksa file konfigurasi dan ubah sesuai dengan model yang Anda unduh.

6. Opsional - Ubah Gambar Profil : Tempatkan user_image.pnd dan/atau bot_image.png Anda di dalam folder chat_icons.

7. Masukkan perintah di terminal :

   1. python3 database_operations.py Ini akan menginisialisasi database sqlite untuk sesi obrolan.
   2. streamlit run app.py

Kemungkinan perbaikan

• Tambahkan model caching.
• Tambahkan gambar dan audio untuk menghemat dan memuat riwayat obrolan.
• Gunakan database untuk menyimpan riwayat obrolan.
• Integrasi Ollama, Openai, Gemini, atau penyedia model lainnya.
• Tambahkan model generator gambar.
• Mekanisme otentikasi.
• Ubah tema.
• Pisahkan kode frontend dan backend untuk penyebaran yang lebih baik.