Personal Voice Assistant Using LLM FunctionCalling

Личный голосовой помощник

Это личный голосовой помощник, который может выполнять различные задачи, такие как воспроизведение музыки с YouTube, исправление ошибок и общение с вами, как обычный чат -бот. Помощник строится с использованием Python и использует несколько библиотек и API, чтобы обеспечить свои функции.

Предварительный просмотр

Посмотрите видео

Функции

1. Воспроизвести музыку с YouTube : Вы можете попросить помощника воспроизвести музыку с YouTube на основе поискового запроса.
2. Исправление ошибок : Помощник может сделать скриншот, извлечь текст из изображения и попытаться исправить любые ошибки, найденные в тексте.
3. Чатбот : Помощник может вести с вами нормальные беседы.

Процесс исправления ошибок:

Когда пользователь сообщает об ошибке, личный голосовой помощник делает снимок экрана текущего экрана, чтобы запечатлеть точную проблему. Затем это изображение обрабатывается с использованием OpenCV для извлечения текста из скриншота. Извлеченный текст отправляется в языковую модель Llama 3, которая анализирует содержание и генерирует соответствующий ответ или решение. Затем помощник передает предложенные исправления или устранение неполадок, направленных на устранение неполадок обратно пользователю, обеспечивая оптимизированный и эффективный процесс разрешения.

Начиная

Предварительные условия

Убедитесь, что у вас установлен Python в вашей системе. Вы можете скачать его с python.org.

Установка

1. Клонировать репозиторий:

   git clone https://github.com/kiritoInd/Personal-Voice-Assistant.git
   cd Personal-Voice-Assistant

2. Установите необходимые пакеты:

   pip install -r requirements.txt

Переменные среды

Создайте файл .env в корневом каталоге проекта и добавьте свой клавиша API Groq:

 GROQ_API_KEY = your_groq_api_key 

Управлять помощником

Запустите следующую команду, чтобы запустить голосовой помощник:

python main.py

Использование

• Начните помощника : нажмите кнопку «Пуск» в графическом интерфейсе, чтобы запустить помощника.
• Триггерное слово : скажите «Привет», чтобы активировать помощника.
• Команды :
  • Воспроизвести музыку : «Играть [имя песни] из YouTube».
  • Исправить ошибку : "Можете ли вы исправить эту ошибку?"
  • Чат : вступить в обычный разговор.

Добавление больше функций

Вы можете добавить больше функциональных возможностей помощнику через список вызова функции. Узнайте больше о вызове функций в DataCamp's Function Function Tutorial.

Вы можете использовать то же самое для Meta llama3

Добавление больше функций

Вы можете добавить больше функциональных возможностей помощнику через список вызова функции. Узнайте больше о вызове функций в DataCamp's Function Function Tutorial.

Чтобы добавить новые функции, обновите function_calling_template в коде:

 function_calling_template = """ 
    <tools> {
    "name": "Your Function",
    "description": "Description of the function",
    "parameters": {
        "type": "object",
        "properties": {},
        "required": [],
    },
    } </tools>
  """ 

Библиотеки и API используются

• json
• speech_recognition
• pyttsx3
• groq
• Pillow
• opencv-python-headless
• pytesseract
• datasets
• torch
• transformers
• soundfile
• sounddevice
• requests
• beautifulsoup4
• keyboard
• tkinter

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.

Благодарности

• Groqapi
• Мета
• DataCamp