WhisperMesh

Whispermesh?

Whispermesh-это ваш передовый чат-бот, который плавно сочетает в себе голосовые и текстовые взаимодействия, создавая богатый, интуитивно понятный разговорной опыт. С мощностью моделей LLM и сложной векторной базой данных Whispermesh понимает ваши потребности, как никогда раньше, предоставляя индивидуальные ответы, которые резонируют с вашими запросами.

Используя тряпичную структуру из Hay Stack, наше приложение преуспевает в извлечении соответствующей информации, гарантируя, что каждое взаимодействие не только привлекательно, но и управляемое с данными. Если вы предпочитаете говорить или печатать, Whispermesh адаптируется к вашему стилю, превращая ваш вклад в проницательные ответы с помощью индивидуального прикосновения.

Присоединяйтесь к разговору с Whispermesh, где ваш голос имеет значение, и позвольте нам провести вас через мир знаний и открытий! ?

Техническая архитектура

В архитектуре описывается приложение Streamlit, интегрированное с фреймворком сена для облегчения загрузки, запросов и генерации ответов. Пользователи загружают PDF -документы через приложение, которое затем обрабатывают и индексируются компонентами Hay Stack, включая очистители документов, сплиттеры и встраивания, которые преобразуют документы в векторные представления с использованием модели COHEHE, хранящиеся в базе данных Qdrant Vector. Когда пользователь представляет голосовой запрос, он транскрибируется в текст, встроен в вектор и сочетается с хранимыми векторами документов, чтобы получить соответствующие куски. Эти кусочки подаются в генеративную модель GEMMA 7B для генерации когерентного ответа, который затем преобразуется обратно в аудио для вывода пользователя. Эта система использует расширенные методы НЛП для обеспечения эффективного и точного поиска документов и генерации ответов.

Ключевые функции

1. Бесплавные голосовые и текстовые взаимодействия

WhisperMesh предлагает передовый разговорный опыт, смешивая голосовые и текстовые входы, позволяя вам общаться так, как вам подходит вам лучше.

2. Advanced LLM интеграция

Основанный на современных крупных языковых моделях (LLMS), Whispermesh глубоко понимает ваши потребности и предоставляет адаптированные ответы, которые резонируют с вашими запросами.

3. Интеллектуальная векторная база данных

Используя Qdrant в качестве нашей векторной базы данных, Whispermesh эффективно управляет и получает соответствующую информацию, обеспечивая взаимодействие, управляемые данными, которые улучшают вовлечение пользователей.

4. Модель встраивания коврика

Наше приложение использует модель встраивания COHEHER для эффективного семантического понимания, гарантируя, что каждое взаимодействие будет проницательным и контекстно осведомленным.

5. Надежные возможности речи к тексту

С моделью Whisper-Large-V3 из Groq Cloud Whispermesh превосходит при преобразовании речи в текст, что делает голосовые взаимодействия гладкими и точными.

6. Генеративная модель для персонализированных ответов

Используя модель Gemma-7B-IT из Groq Cloud, наше приложение генерирует персонализированные ответы, добавляя уникальный штрих к каждому разговору.

7. Rag Framework для управляемых данных идей

Используя рамку с тряпичной (поисковой генерацией) из Hay Stack , Whispermesh превосходен в извлечении соответствующей информации, обеспечивая, чтобы ваши взаимодействия были привлекательными и информативными.

Как это работает

? Шаг 1: Загрузите документы в формате PDF и индексируйте их

• Распорячайте параметры: перетащите и оставьте свои файлы или нажмите «Обзор файлов» , чтобы выбрать их. (Maximum file size: 200MB ).
• Начать индексацию: нажмите ? Индексный документ ' кнопка «Инициировать процесс индексации».

Шаг 2: Выберите метод чата

• Решите, предпочитаете ли вы общаться с помощью текста или голоса .

Шаг 3: Задайте свои вопросы

• Ввод текста: используйте текстовое поле ниже, чтобы ввести свой вопрос.
• Голосовой ввод: Нажмите значок микрофона , чтобы задать вопросы, используя ваш голос.

Начиная

Предварительные условия

• Python 3.11 или выше?
• Groq API для вывода, который в настоящее время доступен бесплатно в своей бета -версии с ограничениями. Вы можете получить свой ключ API здесь после создания учетной записи: Groq API.
• Кроме того, у вас есть возможность использовать Qdrant либо локально, либо через облако Qdrant. Его API также свободен в использовании. Доступ к нему здесь: Qdrant Cloud.
• Для встраиваний вы можете использовать API COHERE. Он предлагает бесплатный уровень, и вы можете зарегистрироваться и получить свой ключ API здесь: Cohere API.

Местное развертывание

1. Клонировать репозиторий

git clone https://github.com/Mouez-Yazidi/WhisperMesh.git
cd WhisperMesh

2. Добавить переменные среды

• Создайте файл .env и добавьте следующие переменные в соответствии с учетными данными, полученными на требуемых платформах:

   COHERE_API_KEY=
  GROQ_API=
  GROQ_KEY=
  QDRANT_API=
  QDRANT_KEY=
  

3. Установите зависимости

Перейдите в локальный каталог и установите необходимые зависимости:

 cd local
pip install -r requirements.txt

4. Запуск приложения локально

Чтобы запустить приложение локально, выполните следующую команду:

streamlit run ../app/main.py --environment local

Теперь вы должны иметь возможность получить доступ к приложению по адресу http: // localhost: 8501.

? Необязательно: работа с Docker

Если вы предпочитаете запустить приложение в контейнере Docker, выполните следующие действия:

1. Убедитесь, что у вас установлен Docker?
2. Создайте изображение Docker:

docker build -t whispermesh -f Dockerfile  ..

3. Запустите контейнер:

docker run -p 8501:8501 whispermesh streamlit run main.py --environment local

☁ Развертывание облака потока

1. Подготовьте свой репозиторий

Убедитесь, что ваш код подтолкнут к репозиторию GitHub.

2. Ссылка с облачным облаком

• Посетите облако Streamlit и войдите в систему.
• Подключите репозиторий GitHub?
• Выберите свой репозиторий и ветвь.

3. переменные среды

• Перейдите в раздел «Расширенные настройки» вашего приложения.
• В разделе «Секреты» введите любую конфиденциальную информацию, такую ​​как клавиши API или другие учетные данные.
• Обязательно добавьте эти переменные в соответствии с учетными данными, полученными на требуемых платформах.

COHERE_API_KEY = " "
GROQ_API = " "
GROQ_KEY = " "
QDRANT_API = " "
QDRANT_KEY = " "

Облачное облако будет:

• Установить зависимости от Cloud/TEDIONS.TXT?

? Ты все готово! Ваше приложение теперь будет вживую в потоковом облаке!

? Функции

• Настраивается: отдельные файлы конфигурации для локального и облачного развертывания.
• Поддержка Docker: развернуть приложение с помощью Docker для локальной контейнеризации.

Покажите свою поддержку!

Если вы цените этот проект, я был бы благодарен, если бы вы могли дать ему звезду на GitHub. Ваша поддержка побуждает нас к улучшению и расширению нашей работы!

? Лицензия

Этот проект лицензирован по лицензии MIT. Смотрите файл лицензии для получения более подробной информации.

? Контакт

Если у вас есть какие -либо вопросы или предложения, не стесняйтесь открывать проблему или свяжитесь с нами по адресу [email protected].