Multimodal AI Chat Application

Мультимодальная-ай-чат-применение

Функции

• Квантовая интеграция модели : это приложение использует так называемые «квантовые модели». Они особенные, потому что они предназначены для того, чтобы хорошо работать над обычным потребительским оборудованием, например, у большинства из нас есть дома или в наших офисах. Обычно оригинальные версии этих моделей действительно большие и нуждаются в более мощных компьютерах для их запуска. Но квантовые модели оптимизированы, чтобы быть меньше и эффективнее, не теряя много производительности. Это означает, что вы можете использовать это приложение и его функции без необходимости супер мощного компьютера. Квантованные модели от блокировки

• Аудио чат с Whisper AI : Использование надежных возможностей Whisper AI AI, это приложение предлагает сложный опыт обмена звуковыми сообщениями. Интеграция Whisper AI допускает точную интерпретацию и реакцию на голосовые входы, усиливая естественный поток разговоров. Шепот модели

• Изображение в чате с Llava : приложение интегрирует Llava для обработки изображений, которая по сути представляет собой тонкую модель Llama, оснащенную для понимания внедрения изображений. Эти встраивания генерируются с использованием модели клипа, что делает функцию Llava как трубопровод, который объединяет расширенный текст и понимание изображений. С Llava опыт чата становится более интерактивным и привлекательным, особенно когда речь идет о обработке и обсуждении визуального контента. Llama-Cpp-Python Repo для загрузки Llava

• PDF -чат с Chroma DB : приложение адаптировано как для профессионального, так и для академического использования, интегрируя Chroma DB в качестве векторной базы данных для эффективных взаимодействий PDF. Эта функция позволяет пользователям взаимодействовать со своими собственными файлами PDF на своем устройстве. Будь то для обзора бизнес -отчетов, академических документов или любого другого PDF -документа, приложение предлагает беспрепятственный опыт. Он обеспечивает эффективный способ взаимодействия с их PDF -файлами, используя силу ИИ для понимания и реагирования на содержание в этих документах. Это делает его ценным инструментом для личного использования, где можно извлечь понимание, резюме и участвовать в уникальной форме диалога с текстом в своих файлах PDF. Веб -сайт Chroma

Начиная

Чтобы начать с локального мультимодального чата ИИ, клонировать репозиторий и следуйте этим простым шагам:

1. Создайте виртуальную среду : я использую Python 3.10.12 в настоящее время

2. Обновление PIP : pip install --upgrade pip

3. Установите требования : pip install -r requirements.txt

   Пользователи Windows: Установка может немного отличаться для вас, если вы столкнетесь с ошибками, которые вы не можете решить, откройте проблему здесь, на GitHub.

4. Настройка локальных моделей : загрузите модели, которые вы хотите реализовать. Вот модель Llava, которую я использовал для чата изображения (ggml-model-q5_k.gguf и mmproj-model-f16.gguf). И квантовая модель Mistral образует Bloke (Mistral-7B-Instruct-V0.1.Q5_K_M.Gguf).

5. Настройте файл конфигурации : проверьте файл конфигурации и соответственно измените загруженные вами модели.

6. Необязательно - Измените изображения профиля : разместите свой пользователь_имаж.pnd и/или bot_image.png в папку CHAT_ICONS.

7. Введите команды в терминал :

   1. python3 database_operations.py Это будет инициализировать базу данных SQLite для сеансов чата.
   2. streamlit run app.py

Возможные улучшения

• Добавить модель кэширования.
• Добавьте изображения и звук в историю чата, сохранение и загрузку.
• Используйте базу данных, чтобы сохранить историю чата.
• Интегрируйте Ollama, Openai, Gemini или других поставщиков моделей.
• Добавьте модель генератора изображений.
• Механизм аутентификации.
• Изменить тему.
• Отдельный код Frontend и Backend для лучшего развертывания.