MMM WhisperGPT

Mmm-whispergpt

Este é um módulo para o MagicMirror².

Como funciona https://nikro.me/articles/professional/crafting-our-ai-assistant/

O objetivo do módulo é criar um widget interativo personalizado que use ferramentas abertas de IA:

• Whisper-modelo auto-hospedado para transcrição de voz para texto.
• Langchain - destinado a ser usado com a API ChatGPT, para processar as solicitações.
• Picovoice -> Porcupine -é usado para gatilho de palavra offline (auto -hospedado) (sotaque na privacidade).
• Além disso ... Mimic3 :)

A ideia é a seguinte:

1. Wake Word (Porcupine).
2. ... Record Query (mostre uma animação sexy, será feita mais tarde)
3. ... passe para sussurro auto-hospedado
4. ... Transcrenda voz para texto
5. Mostre a pergunta como texto renderizado (no módulo renderiza)
6. ... Passe por Langchain para Chatgpt
7. ... Passe a resposta textual de volta ao módulo e renderize na tela
8. ... Use TTS (MIMIC3) - Auto -hospedado na rede, para recuperar um arquivo WAV para reproduzir.

Usando o módulo

Para usar este módulo, adicione o seguinte bloco de configuração à matriz de módulos no arquivo config/config.js :

 var config = {
    modules : [
        {
            module : 'MMM-WhisperGPT' ,
            config : {
                // See below for configurable options
                picovoiceKey : 'xxx' ,
                picovoiceWord : 'JARVIS' ,
                picovoiceSilenceTime : 3 ,
                picovoiceSilenceThreshold : 600 ,
                audioDeviceIndex : 3 ,
                openAiKey : 'xxx' ,
                openAiSystemMsg : 'xxx' ,
                whisperUrl : '192.168.1.5:9000/asr' ,
                whisperMethod : 'openai-whisper' ,
                mimic3Url : '192.168.1.6:59125'
            }
        }
    ]
} 

Opções de configuração

Opção	Obrigatório?	Descrição
picovoiceKey	Obrigatório	Chave de acesso ao Picovoice - você deve se registrar para obtê -la - isso é usado para o Word Word.
picovoiceWord	Opcional	Word Picovoice Trigger, ou seja, Bumblebee, Jarvis, etc. Padrões para Jarvis.
picovoiceSilenceTime	Opcional	Período de silêncio - Padrão para 3 (3 segundos).
picovoiceSilenceThreshold	Opcional	Isso geralmente é ruído de fundo * esse número. O valor padrão é 1,1 (também conhecido como 10%).
audioDeviceIndex	Opcional	Dispositivo de áudio - ou seja, 3 - eles serão impressos quando você estiver usando o modo de depuração. Padrões para 0.
whisperUrl	Obrigatório	URL (ou IP?) Para instância auto-hospedada do sussurro.
whisperMethod	Opcional	Método Whisper: Openai-Whisper ou mais rápido. Padrões para: mais rápido.
whisperLanguage	Opcional	Padrões para: en.
openAiKey	Obrigatório	Chave da API do OpenAI.
openAiSystemMsg	Opcional	Sistema MSG - Como a IA deve se comportar.
mimic3Url	Obrigatório	URL MIMIC3 (servidor), com protocolo, porta, sem /api /tts
mimic3Voice	Opcional	Voz Mimic3 - Padrão: en_us/cmu -arctic_low%23gka
debug	Opcional	Se você deseja depurar, o padrão é: false.

O que é picovoice / porco -espinho

Picovoice / Porcupine é usado para a palavra "gatilho". É uma pequena rede de IA / neural auto-hospedada (NN). A Picovoice oferece uma variedade de serviços, incluindo uma licença para esta IA offline. Ele envia apenas estatísticas de uso, não as conversas reais de áudio.

O que é sussurro

Whisper é um produto de código aberto do OpenAI. É um grande modelo de linguagem (LLM) AI que lida com o texto a texto (transcrição). No meu caso pessoal, eu o tenho auto-hospedado na minha rede local.

Eu usei isso: https://github.com/ahmetoner/whisper-asr-webservice

O que é chatgpt

ChatGPT é outro produto do OpenAI. É um grande modelo de linguagem (LLM) AI. Você precisará se registrar e obter uma chave da API para usá -la.

O que é Langchain

Langchain é uma biblioteca construída em torno do LLMS que permite funcionalidade extra, como memória de longo prazo.

O que é Mimic3 (Mycroft)

O Mycroft do MIMIC3 é um sistema de texto em fala (TTS) baseado em um grande modelo de idioma (LLM). Oferece TTs realistas que podem ser executados em sistemas um tanto restritos a recursos. Inicialmente, tentei configurá -lo no meu Orangepi, mas, em vez disso, instalei -o na mesma máquina com sussurro e usá -lo através da rede.

Eu usei este docker-compose.yml

 version : ' 3.7 '

services :
  mimic3 :
    image : mycroftai/mimic3
    ports :
      - 59125:59125
    volumes :
      - .:/home/mimic3/.local/share/mycroft/mimic3
    stdin_open : true
    tty : true 

Solução de problemas

1. Se o seu áudio não funcionar - verifique se você estiver usando ALSA ou PULSEAUDIO. Pode ser necessário instalar mpg123 . Você pode instalá-lo usando o comando sudo apt-get install mpg123 .
2. Você também pode precisar instalar lame para codificação de áudio. Você pode instalá-lo usando o comando sudo apt-get install lame .