MMM WhisperGPT

Mmm-whispergpt

Ini adalah modul untuk MagicMirror².

Cara kerjanya https://nikro.me/articles/professional/crafting-our-ai-assistant/

Tujuan modul ini adalah membuat widget interaktif khusus yang menggunakan alat AI terbuka:

• Whisper-Model yang diselenggarakan sendiri untuk transkripsi suara-ke-teks.
• Langchain - dimaksudkan untuk digunakan dengan chatgpt API, untuk memproses permintaan.
• Picovoice -> Porcupine -digunakan untuk pemicu kata offline (hosting sendiri) (aksen pada privasi).
• juga ... mimic3 :)

Gagasan adalah sebagai berikut:

1. Wake Word (landak).
2. ... Rekam kueri (tunjukkan animasi seksi, akan dilakukan nanti)
3. ... Lewati ke bisikan yang diselenggarakan sendiri
4. ... menyalin suara-ke-teks
5. Tampilkan pertanyaan sebagai transkripsi-teks (dalam render modul)
6. ... melewati langchain ke chatgpt
7. ... Lewati balasan tekstual kembali ke modul dan render di layar
8. ... Gunakan TTS (MIMIC3) - yang diselenggarakan sendiri di jaringan, untuk melempar kembali file WAV untuk dimainkan.

Menggunakan modul

Untuk menggunakan modul ini, tambahkan blok konfigurasi berikut ke array modul di file config/config.js :

 var config = {
    modules : [
        {
            module : 'MMM-WhisperGPT' ,
            config : {
                // See below for configurable options
                picovoiceKey : 'xxx' ,
                picovoiceWord : 'JARVIS' ,
                picovoiceSilenceTime : 3 ,
                picovoiceSilenceThreshold : 600 ,
                audioDeviceIndex : 3 ,
                openAiKey : 'xxx' ,
                openAiSystemMsg : 'xxx' ,
                whisperUrl : '192.168.1.5:9000/asr' ,
                whisperMethod : 'openai-whisper' ,
                mimic3Url : '192.168.1.6:59125'
            }
        }
    ]
} 

Opsi Konfigurasi

Pilihan	Diperlukan?	Keterangan
picovoiceKey	Diperlukan	Kunci Akses Picovoice - Anda harus mendaftar untuk mendapatkannya - ini digunakan untuk Word Pemicu.
picovoiceWord	Opsional	Picovoice Trigger Word, yaitu Bumblebee, Jarvis, dll. Default ke Jarvis.
picovoiceSilenceTime	Opsional	Periode diam - default ke 3 (3 detik).
picovoiceSilenceThreshold	Opsional	Ini biasanya kebisingan latar belakang * angka ini. Nilai default adalah 1.1 (alias 10%).
audioDeviceIndex	Opsional	Perangkat Audio - IE 3 - Itu akan dicetak saat Anda menggunakan mode debug. Default ke 0.
whisperUrl	Diperlukan	URL (atau IP?) Untuk instance yang diselenggarakan sendiri dari bisikan.
whisperMethod	Opsional	Metode Whisper: Openai-whisper atau lebih cepat-whisper. Default ke: lebih cepat-whisper.
whisperLanguage	Opsional	Default ke: en.
openAiKey	Diperlukan	Kunci API Openai.
openAiSystemMsg	Opsional	Sistem MSG - Bagaimana AI harus berperilaku.
mimic3Url	Diperlukan	Mimic3 url (server), dengan protokol, port, tanpa /API /tts
mimic3Voice	Opsional	Mimic3 Voice - Default: en_us/cmu -atctic_low%23gka
debug	Opsional	Jika Anda ingin men -debug, default adalah: false.

Apa itu picovoice / landak

Picovoice / Porcupine digunakan untuk kata "pemicu". Ini adalah jaringan AI / saraf kecil yang diselenggarakan sendiri (NN). Picovoice menawarkan berbagai layanan, termasuk lisensi untuk AI offline ini. Ini hanya mengirimkan statistik penggunaan, bukan percakapan audio yang sebenarnya.

Apa itu bisikan

Whisper adalah produk open-source dari Openai. Ini adalah model bahasa besar (LLM) AI yang menangani ucapan-ke-teks (transkripsi). Dalam kasus pribadi saya, saya telah di-host sendiri di jaringan lokal saya.

Saya menggunakan ini: https://github.com/ahmetoner/whisper-asr-webservice

Apa itu chatgpt

ChatGPT adalah produk lain dari Openai. Ini adalah model bahasa besar (LLM) AI. Anda perlu mendaftar dan mendapatkan kunci API untuk menggunakannya.

Apa itu Langchain

Langchain adalah perpustakaan yang dibangun di sekitar LLMS yang memungkinkan fungsi tambahan, seperti memori jangka panjang.

Apa itu mimic3 (mycroft)

Mimic3 Mycroft adalah sistem Text-to-Speech (TTS) berdasarkan model bahasa besar (LLM). Menawarkan TT realistis yang dapat berjalan pada sistem yang agak dibatasi sumber daya. Awalnya saya mencoba mengaturnya di Orangepi saya, tetapi sebaliknya, saya menginstalnya pada mesin yang sama dengan Whisper dan menggunakannya melalui jaringan.

Saya menggunakan docker-compose.yml ini

 version : ' 3.7 '

services :
  mimic3 :
    image : mycroftai/mimic3
    ports :
      - 59125:59125
    volumes :
      - .:/home/mimic3/.local/share/mycroft/mimic3
    stdin_open : true
    tty : true 

Pemecahan masalah

1. Jika audio Anda tidak berfungsi - periksa apakah Anda menggunakan ALSA atau Pulseaudio. Anda mungkin perlu menginstal mpg123 . Anda dapat menginstalnya menggunakan perintah sudo apt-get install mpg123 .
2. Anda mungkin juga perlu menginstal lame untuk pengkodean audio. Anda dapat menginstalnya menggunakan perintah sudo apt-get install lame .