MMM WhisperGPTダウンロードMMM WhisperGPTソースコードのダウンロード

MMM WhisperGPT

AI ソースコード

1.0.0

ダウンロード

mmm-whispergpt

これは、MagicMirror²のモジュールです。

それがどのように機能するかhttps://nikro.me/articles/professional/crafting-our-asistant/

モジュールの目標は、オープンAIツールを使用するカスタムインタラクティブウィジェットを作成することです。

ささやき - 音声からテキストの転写のための自己ホストモデル。
Langchain- chatgpt APIで使用することを目的として、リクエストを処理します。
Picovoice-> Porcupine-オフライン（自己ホスト）ワードトリガー（プライバシーのアクセント）に使用されます。
また... mimic3 :)

アイデアは次のとおりです。

ウェイクワード（ヤマアラシ）。
...レコードクエリ（セクシーなアニメーションを表示し、後で実行されます）
...自己ホストされたささやきに渡します
...音声からテキストを転写します
転写されたレンダリングされたテキストとしての質問を表示します（モジュールレンダリングで）
... langchainを通過してChatgptに移動します
...テキストの返信をモジュールに戻し、画面上にレンダリングします
... TTS（MIMIC3）を使用して、ネットワークに自己ホストされ、WAVファイルを再発するように再生します。

モジュールを使用します

このモジュールを使用するには、 config/config.jsファイルのモジュール配列に次の構成ブロックを追加します。

 var config = {
    modules : [
        {
            module : 'MMM-WhisperGPT' ,
            config : {
                // See below for configurable options
                picovoiceKey : 'xxx' ,
                picovoiceWord : 'JARVIS' ,
                picovoiceSilenceTime : 3 ,
                picovoiceSilenceThreshold : 600 ,
                audioDeviceIndex : 3 ,
                openAiKey : 'xxx' ,
                openAiSystemMsg : 'xxx' ,
                whisperUrl : '192.168.1.5:9000/asr' ,
                whisperMethod : 'openai-whisper' ,
                mimic3Url : '192.168.1.6:59125'
            }
        }
    ]
}

構成オプション

オプション	必須？	説明
`picovoiceKey`	必須	Picovoiceアクセスキー - それを取得するには登録する必要があります - これはトリガーワードに使用されます。
`picovoiceWord`	オプション	Picovoiceトリガーワード、すなわち、バンブルビー、ジャービスなど。デフォルトはジャービスです。
`picovoiceSilenceTime`	オプション	沈黙期間 - デフォルトは3（3秒）です。
`picovoiceSilenceThreshold`	オプション	これは通常、バックグラウンドノイズ *この数字です。デフォルト値は1.1（別名10％）です。
`audioDeviceIndex`	オプション	オーディオデバイス-IE 3-デバッグモードを使用しているときにそれらが印刷されます。デフォルトは0です。
`whisperUrl`	必須	ささやきの自己ホストインスタンスへのURL（またはIP？）。
`whisperMethod`	オプション	ささやき方：Openai-Whisperまたはより速いウィスパー。デフォルト：より速いウィスパー。
`whisperLanguage`	オプション	デフォルト：en。
`openAiKey`	必須	OpenaiのAPIキー。
`openAiSystemMsg`	オプション	システムMSG- AIの動作方法。
`mimic3Url`	必須	MIMIC3 URL（サーバー）、プロトコル、ポート、 /API /TTSなし
`mimic3Voice`	オプション	MIMIC3音声 - デフォルト：EN_US/CMU -ARCTIC_LOW％23GKA
`debug`	オプション	デバッグしたい場合、デフォルトは次のとおりです。

Picovoice / Porcupineとは何ですか

Picovoice / Porcupineは、「トリガー」ワードに使用されます。自己ホストの小さなAI /ニューラルネットワーク（NN）です。 Picovoiceは、このオフラインAIのライセンスを含むさまざまなサービスを提供しています。実際のオーディオ会話ではなく、使用統計のみを送信します。

ささやきは何ですか

Whisperは、Openaiのオープンソース製品です。これは、音声からテキスト（転写）を処理する大規模な言語モデル（LLM）AIです。私の個人的なケースでは、私はそれを私のローカルネットワークに自己ホストしています。

これを使用しました：https：//github.com/ahmetoner/whisper-asr-webservice

chatgptとは何ですか

ChatGptはOpenaiの別の製品です。これは、大規模な言語モデル（LLM）AIです。登録してAPIキーを使用して使用する必要があります。

ラングチェーンとは何ですか

Langchainは、長期メモリなどの追加機能を可能にするLLMSを中心に構築されたライブラリです。

mimic3（mycroft）とは

MycroftのMIMIC3は、大規模な言語モデル（LLM）に基づくテキストツースピーチ（TTS）システムです。多少リソース制限システムで実行できるリアルなTTSを提供します。最初にOrangepiにセットアップしようとしましたが、代わりに、同じマシンにWhisperとともにインストールし、ネットワークを介して使用しました。

このdocker-compose.ymlを使用しました

 version : ' 3.7 '

services :
  mimic3 :
    image : mycroftai/mimic3
    ports :
      - 59125:59125
    volumes :
      - .:/home/mimic3/.local/share/mycroft/mimic3
    stdin_open : true
    tty : true

トラブルシューティング

オーディオが機能しない場合 - AlsaまたはPulseaudioを使用しているかどうかを確認してください。 mpg123をインストールする必要があるかもしれません。コマンドsudo apt-get install mpg123を使用してインストールできます。
また、音声エンコーディング用にlameをインストールする必要がある場合があります。コマンドsudo apt-get install lameを使用してインストールできます。

拡大する

追加情報