MMM WhisperGPT

Ммм-Whispergpt

Это модуль для MagicMirror2.

Как это работает https://nikro.me/articles/professional/crafting-our-ai-assistant/

Цель модуля - создать пользовательский интерактивный виджет, который использует открытые инструменты AI:

• Шепот-самостоятельная модель для транскрипции голоса в тексте.
• Langchain - предназначен для использования с API CATGPT, для обработки запросов.
• Picovoice -> Porcupine -используется для автономного (самостоятельного) Trigger Trigger (акцент на конфиденциальности).
• Также ... Mimic3 :)

Идея - следующая:

1. Wake Word (дикобраз).
2. ... Запись записи (показывать сексуальную анимацию, будет сделана позже)
3. ... пройти к самостоятельному шепоту
4. ... транскрибировать голос в текст
5. Покажите вопрос как транскрибированный текст визуализации (в рендеринге модуля)
6. ... пройти через Лэнгхейн в Чэтгпт
7. ... передайте текстовый ответ на модуль и рендеринг на экране
8. ... Используйте TTS (MIMIC3) - самостоятельно в сети, чтобы отбросить файл WAV для игры.

Используя модуль

Чтобы использовать этот модуль, добавьте следующий блок конфигурации в массив модулей в файле config/config.js :

 var config = {
    modules : [
        {
            module : 'MMM-WhisperGPT' ,
            config : {
                // See below for configurable options
                picovoiceKey : 'xxx' ,
                picovoiceWord : 'JARVIS' ,
                picovoiceSilenceTime : 3 ,
                picovoiceSilenceThreshold : 600 ,
                audioDeviceIndex : 3 ,
                openAiKey : 'xxx' ,
                openAiSystemMsg : 'xxx' ,
                whisperUrl : '192.168.1.5:9000/asr' ,
                whisperMethod : 'openai-whisper' ,
                mimic3Url : '192.168.1.6:59125'
            }
        }
    ]
} 

Параметры конфигурации

Вариант	Необходимый?	Описание
picovoiceKey	Необходимый	PicoVoice Access Key - вы должны зарегистрироваться, чтобы получить его - это используется для Trigger Word.
picovoiceWord	Необязательный	Picovoice Trigger Word, то есть шмель, джарвис и т. Д. По умолчанию Джарвису.
picovoiceSilenceTime	Необязательный	Период молчания - по умолчанию 3 (3 секунды).
picovoiceSilenceThreshold	Необязательный	Обычно это фоновый шум * это число. Значение по умолчанию составляет 1,1 (он же 10%).
audioDeviceIndex	Необязательный	Audio Device - IE 3 - они будут распечатаны, когда вы используете режим отладки. По умолчанию к 0.
whisperUrl	Необходимый	URL (или IP?) Для самостоятельного экземпляра шепота.
whisperMethod	Необязательный	Шепот метод: Openai-Whisper или быстрее. По умолчанию: быстрее.
whisperLanguage	Необязательный	По умолчанию: en.
openAiKey	Необходимый	API -ключ Openai.
openAiSystemMsg	Необязательный	Система MSG - как должен вести себя ИИ.
mimic3Url	Необходимый	MIMIC3 URL (сервер), с протоколом, портом, без /API /TTS
mimic3Voice	Необязательный	Mimic3 Voice - по умолчанию: en_us/cmu -arctic_low%23gka
debug	Необязательный	Если вы хотите отладить, по умолчанию есть: false.

Что такое picovoice / дикобраз

Picovoice / Дикобраз используется для слова «триггер». Это самостоятельная небольшая сеть AI / нейрон (NN). Picovoice предлагает ряд услуг, включая лицензию для этого автономного искусственного интеллекта. Это только отправляет статистику использования, а не фактические аудио беседы.

Что такое шепот

Whisper-это продукт с открытым исходным кодом от Openai. Это крупная языковая модель (LLM) AI, которая обрабатывает речь к тексту (транскрипция). В моем личном случае я самостоятельно отправляется в свою местную сеть.

Я использовал это: https://github.com/ahmetoner/whisper-asr-webservice

Что такое Chatgpt

Chatgpt - еще один продукт от Openai. Это большая языковая модель (LLM) AI. Вам нужно будет зарегистрироваться и получить ключ API для его использования.

Что такое Лэнгхейн

Langchain-это библиотека, построенная вокруг LLMS, которая обеспечивает дополнительную функциональность, такую как долговременная память.

Что такое Mimic3 (Mycroft)

Mycroft Mimic3-это система текста в речь (TTS), основанная на большой языковой модели (LLM). Он предлагает реалистичные TTS, которые могут работать в несколько ограниченных ресурсах систем. Первоначально я пытался установить его на OrangePi, но вместо этого я установил его на той же машине с шепотом и использую через сеть.

Я использовал этот Docker-compose.yml

 version : ' 3.7 '

services :
  mimic3 :
    image : mycroftai/mimic3
    ports :
      - 59125:59125
    volumes :
      - .:/home/mimic3/.local/share/mycroft/mimic3
    stdin_open : true
    tty : true 

Поиск неисправностей

1. Если ваш звук не работает - проверьте, используете ли вы ALSA или PulseAudio. Вам может потребоваться установить mpg123 . Вы можете установить его, используя команду sudo apt-get install mpg123 .
2. Вам также может потребоваться установить lame для кодирования аудио. Вы можете установить его, используя команду sudo apt-get install lame .