MMM WhisperGPT

MMM- Whispergpt

這是MagicMirror²的模塊。

https://nikro.me/articles/professional/crafting-our-ai-assistant/

該模塊的目標是創建一個使用打開AI工具的自定義交互式小部件：

• 耳語 - 語音到文本轉錄的自托模型。
• Langchain-旨在與ChatGpt API一起使用，以處理請求。
• picovoice->豪豬 - 用於離線（自構托）單詞觸發（隱私上的重音）。
• 也... bimic3 :)

想法如下：

1. 喚醒單詞（豪豬）。
2. ...記錄查詢（顯示一個性感的動畫，以後將進行）
3. ...傳遞給自主耳語
4. ...轉錄語音到文本
5. 將問題顯示為轉錄的渲染文本（在模塊渲染中）
6. ...通過Langchain到達Chatgpt
7. ...將文本回复傳遞回模塊並在屏幕上渲染
8. ...使用TTS（MIMIC3） - 在網絡上進行自托，以返回WAV文件進行播放。

使用模塊

要使用此模塊，請將以下配置塊添加到config/config.js文件中的模塊數組：

 var config = {
    modules : [
        {
            module : 'MMM-WhisperGPT' ,
            config : {
                // See below for configurable options
                picovoiceKey : 'xxx' ,
                picovoiceWord : 'JARVIS' ,
                picovoiceSilenceTime : 3 ,
                picovoiceSilenceThreshold : 600 ,
                audioDeviceIndex : 3 ,
                openAiKey : 'xxx' ,
                openAiSystemMsg : 'xxx' ,
                whisperUrl : '192.168.1.5:9000/asr' ,
                whisperMethod : 'openai-whisper' ,
                mimic3Url : '192.168.1.6:59125'
            }
        }
    ]
} 

配置選項

選項	必需的？	描述
picovoiceKey	必需的	PICOVOICE訪問密鑰 - 您必須註冊才能獲得 - 這用於觸發單詞。
picovoiceWord	選修的	picovoice觸發單詞，即大黃蜂，jarvis等。默認為jarvis。
picovoiceSilenceTime	選修的	沉默期 - 默認為3（3秒）。
picovoiceSilenceThreshold	選修的	這通常是背景噪聲 *這個數字。默認值為1.1（又稱10％）。
audioDeviceIndex	選修的	音頻設備 - IE 3-使用調試模式時，這些設備將被打印出來。默認為0。
whisperUrl	必需的	url（或ip？）到耳語的自託人實例。
whisperMethod	選修的	耳語方法：openai-旋轉或更快的呼吸。默認為：更快。
whisperLanguage	選修的	默認為：en。
openAiKey	必需的	Openai的API鍵。
openAiSystemMsg	選修的	系統味精 - AI應該如何行事。
mimic3Url	必需的	mimic3 URL（服務器），帶有協議，端口，無 /api /tts
mimic3Voice	選修的	mimic3語音 - 默認值：en_us/cmu -arctic_low％23GKA
debug	選修的	如果要調試，默認值為：false。

什麼是picovoice /豪豬

picovoice /豪豬用於“觸發”單詞。這是一個自我託管的小型AI /神經網絡（NN）。 Picovoice提供一系列服務，包括該離線AI的許可證。它僅發送用法統計信息，而不是實際的音頻對話。

什麼是耳語

耳語是Openai的開源產品。這是一個大型語言模型（LLM）AI，可以處理語音到文本（轉錄）。在我個人的情況下，我在本地網絡上進行了自我託管。

我使用了以下方式：https：//github.com/ahmetoner/whisper-asr-webservice

什麼是chatgpt

Chatgpt是Openai的另一種產品。這是大型語言模型（LLM）AI。您將需要註冊並獲取一個API鍵來使用它。

什麼是Langchain

Langchain是圍繞LLM構建的庫，可提供額外的功能，例如長期記憶。

什麼是mimic3（mycroft）

Mycroft的Mimic3是基於大語言模型（LLM）的文本到語音（TTS）系統。它提供的現實TT可以在某種資源限制的系統上運行。我最初嘗試將其設置在我的Orangepi上，但是，我用耳語將其安裝在同一台計算機上，並通過網絡使用它。

我使用了這個docker-compose.yml

 version : ' 3.7 '

services :
  mimic3 :
    image : mycroftai/mimic3
    ports :
      - 59125:59125
    volumes :
      - .:/home/mimic3/.local/share/mycroft/mimic3
    stdin_open : true
    tty : true 

故障排除

1. 如果您的音頻不起作用 - 檢查您是否正在使用ALSA或Pulseaudio。您可能需要安裝mpg123 。您可以使用命令sudo apt-get install mpg123安裝它。
2. 您可能還需要安裝lame以進行音頻編碼。您可以使用命令sudo apt-get install lame它。