الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

ط ط ط

هذه وحدة النمط لـ MagicMirror².

كيف تعمل

الهدف من الوحدة النمطية هو إنشاء عنصر واجهة مستخدم تفاعلية مخصصة تستخدم أدوات AI المفتوحة:

  • Whisper-نموذج مستضيف لنسخ الصوت إلى النص.
  • Langchain - المقصود لاستخدامه في API chatgpt ، لمعالجة الطلبات.
  • يتم استخدام Picovoice -> النيص -لتشغيل الكلمات غير المتصلة بالإنترنت (ذاتيا) (لهجة على الخصوصية).
  • أيضا ... تقليد 3 :)

الفكرة هي ما يلي:

  1. كلمة الاستيقاظ (النيص).
  2. ... سجل استعلام (عرض رسوم متحركة مثيرة ، سيتم القيام به لاحقًا)
  3. ... تمر إلى الهمس المستضاف ذاتيا
  4. ... نسخ صوت إلى نص
  5. أظهر السؤال على أنه نص تم عرضه (في عرض الوحدة النمطية)
  6. ... تمر عبر langchain إلى chatgpt
  7. ... تمرير الرد النصية مرة أخرى إلى الوحدة النمطية وقم بإعدادها على الشاشة
  8. ... استخدم TTS (MIMIC3) - مستضيف ذاتيًا على الشبكة ، لإراقة ملف WAV للعب.

باستخدام الوحدة النمطية

لاستخدام هذه الوحدة ، أضف كتلة التكوين التالية إلى مجموعة الوحدات النمطية في ملف config/config.js : 

 var config = {
    modules : [
        {
            module : 'MMM-WhisperGPT' ,
            config : {
                // See below for configurable options
                picovoiceKey : 'xxx' ,
                picovoiceWord : 'JARVIS' ,
                picovoiceSilenceTime : 3 ,
                picovoiceSilenceThreshold : 600 ,
                audioDeviceIndex : 3 ,
                openAiKey : 'xxx' ,
                openAiSystemMsg : 'xxx' ,
                whisperUrl : '192.168.1.5:9000/asr' ,
                whisperMethod : 'openai-whisper' ,
                mimic3Url : '192.168.1.6:59125'
            }
        }
    ]
}

خيارات التكوين

خيار مطلوب؟ وصف
picovoiceKey مطلوب مفتاح الوصول إلى PicoVoice - يجب عليك التسجيل للحصول عليه - يتم استخدام هذا لكلمة الزناد.
picovoiceWord خياري Picovoice Trigger Word ، أي Bumblebee ، Jarvis ، إلخ. الافتراضيات إلى Jarvis.
picovoiceSilenceTime خياري فترة الصمت - الافتراضيات إلى 3 (3 ثوان).
picovoiceSilenceThreshold خياري هذا هو عادة ضوضاء الخلفية * هذا الرقم. القيمة الافتراضية هي 1.1 (ويعرف أيضًا باسم 10 ٪).
audioDeviceIndex خياري جهاز الصوت - أي 3 - سيتم طباعة تلك عند استخدام وضع التصحيح. الافتراضات إلى 0.
whisperUrl مطلوب عنوان URL (أو IP؟) إلى مثيل مستضيف ذاتي الهمس.
whisperMethod خياري طريقة الهمس: Openai-Whisper أو أسرع. الإعدادات الافتراضية إلى: أسرع.
whisperLanguage خياري الإعدادات الافتراضية إلى: en.
openAiKey مطلوب مفتاح API من Openai.
openAiSystemMsg خياري System MSG - كيف يجب أن تتصرف الذكاء الاصطناعي.
mimic3Url مطلوب MIMIC3 url (خادم) ، مع بروتوكول ، منفذ ، بدون /API /TTS
mimic3Voice خياري MIMIC3 الصوت - الافتراضي: EN_US/CMU -ARCTIC_LOW ٪ 23GKA
debug خياري إذا كنت ترغب في تصحيح ، فإن الافتراضي هو: خطأ.

ما هو picovoice / porcupine

يتم استخدام picovoice / porcupine للكلمة "الزناد". إنها شبكة صغيرة من الذكاء الاصطناعي / العصبية (NN). يقدم Picovoice مجموعة من الخدمات ، بما في ذلك ترخيص لهذا الذكاء الاصطناعي في وضع عدم الاتصال. إنه يرسل فقط إحصائيات الاستخدام ، وليس محادثات الصوت الفعلية.

ما هو الهمس

Whisper هو منتج مفتوح المصدر من Openai. إنه نموذج لغة كبير (LLM) AI الذي يتعامل مع الكلام إلى النص (النسخ). في حالتي الشخصية ، استضافتها ذاتيًا على شبكتي المحلية.

لقد استخدمت هذا: https://github.com/ahmetoner/whisper-asr-webservice

ما هو chatgpt

ChatGPT هو منتج آخر من Openai. إنه نموذج لغة كبير (LLM) AI. ستحتاج إلى التسجيل والحصول على مفتاح API لاستخدامه.

ما هو لانجشين

Langchain هي مكتبة مبنية على LLMs تتيح وظائف إضافية ، مثل الذاكرة طويلة الأجل.

ما هو mimic3 (mycroft)

MIMIC3 من MyCroft هو نظام نص إلى كلام (TTS) يعتمد على نموذج لغة كبير (LLM). إنه يوفر TTS واقعية يمكن أن تعمل على أنظمة مقيدة إلى حد ما. حاولت في البداية إعداده على OrangePI الخاص بي ، لكن بدلاً من ذلك ، قمت بتثبيته على نفس الجهاز مع الهمس واستخدامه عبر الشبكة.

لقد استخدمت هذا docker-corm.yml 

 version : ' 3.7 '

services :
  mimic3 :
    image : mycroftai/mimic3
    ports :
      - 59125:59125
    volumes :
      - .:/home/mimic3/.local/share/mycroft/mimic3
    stdin_open : true
    tty : true

استكشاف الأخطاء وإصلاحها

  1. إذا كان الصوت الخاص بك لا يعمل - تحقق مما إذا كنت تستخدم ALSA أو Pulseaudio. قد تحتاج إلى تثبيت mpg123 . يمكنك تثبيته باستخدام الأمر sudo apt-get install mpg123 .
  2. قد تحتاج أيضًا إلى تثبيت lame لتشفير الصوت. يمكنك تثبيته باستخدام الأمر sudo apt-get install lame .
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل