rsllm

Rust Ai Stream Analyzer Bot Bot

RSLLM هو خط أنابيب الذكاء الاصطناعي 100 ٪ في الصدأ لرمز المحول/الموتر الذي يستفيد من إطار الشمعة من Huggingface. ويمثل نهج لغة برمجة الأنظمة لتفاعل نموذج الذكاء الاصطناعي وتحليل الدفق. يمكن تشغيله محليًا على وحدات معالجة الرسومات ، ويركز على دعم أجهزة MACOS المجهزة بوحدة معالجة الرسومات M1/M2/M3 ARM. تم تصميم خط أنابيب الذكاء الاصطناعى هذا للمطورين والباحثين الذين يهدفون إلى دمج نماذج اللغة الكبيرة المحلية (LLMS) مع الصدأ ، متجاوزًا الحاجة إلى التبعيات الخارجية ورمز Python لبرامج chatbots وبرامج الذكاء الاصطناعي الأخرى. في جوهرها ، تؤكد RSLLM على استخدام LLMs المحلية لإنشاء النصوص والصور والكلام في بيئة الصدأ ، مما يوفر مجموعة قوية من الميزات لتحليل دفق البيانات في الوقت الفعلي وإنشاء محتوى يحركه AI. يمكن لـ RSLLM تشغيل روبوت دردشة Twitch Channell و NDI الفيديو/الصوت مع صور نشر مستقرة ومخرجات TTS من خلال البرنامج المتوافق مع NDI. يمكنك إعداد OBS لأخذ خلاصة NDI وإعداد قناة Twitch الخاصة بك ، ثم الحصول على دردشة كاملة وتحدث/صور قناة Thitch القابلة للتخصيص. مدفوعة بالكامل منظمة العفو الدولية ، يمكنك أتمتة Twitch Vestermer إلى حد ما. يمكنك أيضًا تحليل تدفقات MPEGTS أو إحصائيات نظام OS أيضًا ، إذا رغبت في ذلك ، يمكنك الجمع بين الاثنين وعلاق مستخدمي الدردشة والاستعلام عن دفق تحليله بفعالية.

الميزات الرئيسية

• LLM المحلي : يستخدم LLMs القائم على الصدأ ، Mistral و Gemma ، لتفاعلات AI المباشرة والفعالة ، مما يعطي الأولوية للتنفيذ المحلي لتسخير الطاقة الكاملة ل GPUS MACOS المعدنية.
• محلل الذكاء الاصطناعى الشامل : يضم محلل الذكاء الاصطناعي المتطور قادرًا على معالجة المدخلات وتوليد المخرجات عبر النص والصوت والكلام والصور ، مما يسهل تدفقًا سلسًا للمحتوى الذي تم إنشاؤه من الذكاء الاصطناعى. (العمل قيد التقدم)
• تكامل الصوت والكلام : تخطط لدمج الهمس للتفاعلات التي تعتمد على الصوت ، على غرار Alexa ، مما يسمح للمستخدمين بالتواصل مع مجموعة الأدوات باستخدام الأوامر الصوتية واستلام مدخلات نص دفق الاستجابة. (ميزة مخططة)
• توليد الصور وإخراج NDI : يدعم توليد الصور من أوصاف النص والإخراج من خلال NDI لمجموعة واسعة من التطبيقات ، بما في ذلك إنشاء المحتوى في الوقت الحقيقي والبث. (في اختبار بيتا)
• دعم TTS : تنفذ Candle TTS باستخدام metavoice (الافتراضي ، WIP) ، Openai TTS API (عالية الجودة ، في الوقت الفعلي) ، و MIMIC3 TTS API (محلي ، مجاني). يتم تحسين Metavoice ل GPU المعدنية ، في حين أن Openai TTS API يولد خطابًا متميزًا بتكلفة. يتطلب MIMIC3 TTS API تشغيل خادم MIMIC3 ولكنه يوفر بديلاً جيدًا لـ Openai TTS API. تقليد 3 github
• Twitch Chat Interactive AI : Thitch Chat متكامل للتفاعلات في الوقت الفعلي ، مما يتيح للمستخدمين التعامل مع مجموعة الأدوات من خلال أوامر الدردشة وتلقي الاستجابات التي تم إنشاؤها بواسطة الذكاء الاصطناعى.
• توليد صورة الانتشار المستقر : يدعم إما نشر الشمعة المستقر أو خادم API Automatic111111. https://github.com/automatic1111/stable-diffusion-webui/

المكونات الأساسية

تكامل إطار الشمعة

Candle ، وهو مشروع عن طريق Huggingface ، يقدم LLMs الأصلية الصدأ مثل Mistral و Gemma ، محسّنة لعمليات وحدات معالجة الرسومات المعدنية على MacOs. يسهل هذا التكامل التنفيذ المحلي لـ LLMs ، مما يضمن أداءً عاليًا ومتنقلًا في تفاعلات نموذج الذكاء الاصطناعي.

دعم API Openai لـ Llama.cpp LLM Server الخلفية

على الرغم من أن التركيز الأساسي لـ RSLLM هو تشغيل LLMS المحلي ، إلا أنه يوفر أيضًا دعمًا ل API Openai ، مما يتيح للمستخدمين الاستفادة من نماذج الذكاء الاصطناعي الخارجية عند الضرورة. تضمن هذه الميزة التنوع والتطبيق الواسع في مختلف المشاريع التي تحركها الذكاء الاصطناعي باستخدام نماذج مخصصة.

في الوقت الحقيقي تحليل الذكاء الاصطناعي وتوليد المحتوى

يتفوق RSLLM في تحليل تدفقات البيانات في الوقت الفعلي وإنشاء محتوى يحركه AI ، بما في ذلك النص والصور والكلام. يهدف إلى إنشاء نموذج تفاعل ديناميكي حيث يمكن تحويل المدخلات الصوتية إلى أوامر نصية لـ LLM ، ويمكن بث المخرجات التي تم إنشاؤها مرة أخرى على أنها محتوى صوتي أو بصري.

التثبيت والتكوين

المتطلبات الأساسية

• تأكد من تثبيت الصدأ والبضائع. دليل تثبيت الصدأ.
• من الناحية المثالية نظام MacOS مع وحدة معالجة الرسومات M1/M2/M3 ARM. قد تعمل NVIDIA ، وتحتاج إلى شخص لإصلاحه لأنني لا أملك NVIDIA GPU.
• مكتبة NDI لـ OBS NDI دفق الإخراج. هذا اختياري.

دليل الإعداد

1. استنساخ المستودع :

   git clone https://github.com/groovybits/rsllm.git

2. انتقل إلى دليل المشروع :

    cd rsllm

3. تجميع مع دعم GPU المعدني ودعم NDI SDK :

   ./scripts/compile.sh # Script handles NDI SDK dependency and DYLD_LIBRARY_PATH

إعدادات

• copy .env.example to .env وتخصيص الإعدادات ، بما في ذلك مفتاح Openai API إذا كان يعتزم استخدام نماذج الذكاء الاصطناعي الخارجية.

الاستخدام

تم تصميم RSLLM لتسهيل مجموعة واسعة من العمليات التي تحركها AI ، من إنشاء محتوى مستند إلى النص إلى تحليل تدفقات الشبكة ومعالجة المدخلات المرئية والصوتية. الميزات المتقدمة مثل إخراج الصوت NDI ومعالجة المدخلات الصوتية إلى النص قيد التطوير ، تهدف إلى تحسين القدرات التفاعلية لمجموعة الأدوات.

أوامر مثال

• استخدم البرامج النصية في دليل ./scripts.

  ./scripts/compile.sh # Build RsLLM
  ./scripts/broadcast_personality.sh  # Full command line shown for most features (use personalities in ./personalities dir as an arg)
  ./scripts/mpeg_analyzer.sh # Experimental MpegTS Analyzer mode (WIP)
  ./scripts/mpeg_poetry.sh   # Fun poetry about MpegTS Broadcasting with stream input prompt injection
  ./scripts/system_health.sh # System health status from OS Stats prompt injection 

• بث إلى OBS مع NDI مع خط أنابيب كامل :

  ./scripts/broadcast_personality.sh buddha

• تشغيل إحصائيات الشموع ونظام التشغيل لتحليل نظام الذكاء الاصطناعي :

  cargo run --release --features fonts,ndi,mps,metavoice,audioplayer -- 
    --candle_llm gemma 
    --model-id " 2b-it " 
    --max-tokens 800 
    --temperature 0.8 
    --ai-os-stats 
    --sd-image 
    --ndi-images 
    --ndi-audio 
    --system-prompt " You create image prompts from OS system stats health state. " 
    --query " How is my system doing? Create a report on the system health as visual image descriptions. " 

إمكانيات الإخراج المحسنة والميزات القادمة

إخراج NDI للصور وصوت الكلام TTS

تقوم RSLLM بتعزيز قدرات الإخراج الخاصة بها لتشمل دعم NDI (واجهة جهاز الشبكة) للصور والصوت TTS (نص إلى كلام) ، مما يسهل تدفق الفيديو عالي الجودة ، منخفضة الكتلة عبر شبكات IP.

• (اختياري) تثبيت NDI SDK : سيقوم برنامج Compile.sh بتنزيل Libndi.dylib لك. إذا رغبت في ذلك ، يمكنك تنزيل وتثبيت NDI SDK من هنا. هذا SDK مفيد لعرض إخراج NDI واستكشاف الأدوات الأخرى.
• خطوات التكوين :
  1. إضافة --features ndi إلى Cargo Build Command لتشمل دعم NDI في البناء الخاص بك.
  2. قم بتشغيل scripts/compile.sh ، والتي ستسترجع libndi.dylib التي تعمل بشكل أفضل مع MacOS.
  3. لضمان التعرف على المكتبة بشكل صحيح عند البناء باستخدام cargo --features=ndi ، قم بتعيين متغير بيئة DYLD_LIBRARY_PATH :

   export DYLD_LIBRARY_PATH= ` pwd ` : $DYLD_LIBRARY_PATH

• تكوين إضافي : يمكن تسجيل الدخول إلى Huggingface Hub عبر CLI حل بعض التحذيرات المحتملة. تنفيذ huggingface-cli login للمصادقة.

نص metavoice tts إلى الكلام (WIP)

Candle ، إطار الصدأ الأساسي الخاص بنا لتفاعل LLM ، يشمل الآن Metavoice ، وهي تقنية رائدة في النص إلى كلام (TTS). مع تحسن هذه الميزة ، ستمكّن LLM النقي المستند إلى الصدأ ، TTI (نص إلى نص) ، ووظائف TTS ، مدمجة بسلاسة مع تحسينات معالجة الرسومات المعدنية للمعادن لـ MacOS.

• حالة التطوير : يتم تكامل metavoice ويتم تحسينه في الشمعة لمطابقة جودة التنفيذ المرجعي.
• الفوائد المتوقعة : بمجرد التحسين الكامل ، سيعزز Metavoice بشكل كبير قدرة مجموعة الأدوات على توليد خطاب نابض بالحياة من النص دون تكلفة مع انخفاض الكمون على LLM المحلي. سيوفر أيضًا القدرة على تعلم صوت واحد من مقطع صغير وتوليد خطاب منه. في الوقت الحالي ، قد ترغب في استخدام Openai لجودة الصوت في الوقت الفعلي من صوت الكلام.

تتمثل مهمة RSLLM في البحث واستكشاف تنفيذ مجموعة أدوات متعددة الاستخدامات عالية الأداء لإنشاء وتحليل المحتوى الذي يحركه AI على MACOS ، والاستفادة من الإمكانات الكاملة لوكالة وحدات معالجة الرسومات المعدنية وكفاءة الصدأ.

خريطة الطريق

أولوية:

• الحفاظ على السجل باستخدام قاعدة بيانات محلية (على سبيل المثال ، SQLite أو MongoDB) وقم بتغذيةها في DB chroma لـ RAC.
• MPEGTS الدردشة لتحليل Freeform على بيانات دفق MPEG-TRADERS الحالية والتاريخية.
• تحسين الصورة/TTS الكمون والتنسيق غير المتزامن للإخراج. استخدم NDI prefequeue للصور والصوت لضمان التزامن وتقليل الكمون.
• قم بتنفيذ RAG (الجيل المعزز للاسترجاع) باستخدام Chromium لتخزين الوثائق والتضمينات ، مما يوفر سياق LLM المستند إلى الوثائق المعززة.
• قم بدمج إصلاحات Metavoice من الشمعة عند توفرها (WIP).
• قم بتنفيذ تجزئة الإدراك الحسي (المستند إلى DCT64) لبصمة الإطار للكشف عن التغييرات في إطارات الفيديو ، والتعرف على تسلسل المحتوى المتكرر وتعلمه ، والتحقق من الفواصل التجارية ، والاكتشاف إدراج الإعلانات. دمج SCTE-35 والحفاظ على قاعدة بيانات للمحتوى المطبوع للبصمات لمختلف عمليات فحص الجودة ، وتأكيد الإخلاص/الشعار ، واكتشاف التواجد.
• تمكين وضع الخفي للتشغيل والاستماع للطلبات عبر إدخال ZeromQ والانتقال إلى الإخراج.
• توسيع خيارات LLMS و Openai API.

التحسينات المستقبلية:

• استخدم FFMPEG-Next-Sys لمعالجة الفيديو والصوت في الوقت الفعلي لإنشاء إطارات ، وصوت ، ونص من نص ، بالإضافة إلى تحويل الفيديو وإنشاء مقاطع فيديو مزاجية أو قصص ذات طابع تحت عنوان. استكشف إمكانيات الجمع بين LLM مع FFMPEG.
• تعزيز محلل MPEGTS للتحليل في الوقت الفعلي لتدفقات MPEG-TS ، والتقارير ، واكتشاف القضية التي تعتمد على الذكاء الاصطناعي.
• تحسين محللات الشبكة والنظام.
• الاستفادة من Chroma DB لـ RAG مع المستندات لزيادة المطالبات بالمعلومات ذات الصلة.
• قم بتنفيذ proto cap'n للتسلسل ، والخروج ، واتصالات بروتوكول ZEROMQ المعيارية.
• دمج metamusic لتوليد الموسيقى القائمة على المزاج بناءً على النتائج.
• قم بتطوير توليد الفيديو الحديث مع سياق الإطار المتسق ، وضمان بقاء الكائنات كما هو الحال في الإطارات.
• قم بتنفيذ النص إلى النص باستخدام شمعة Whisper لإدخال الصوت ، وابتلاع LLM ، وترجمة الفيديو.
• السماح لخيارات إدخال Freeform لـ LLM لتفسير نوايا المستخدم.
• استكشف توليد الرمز الديناميكي في بيثون لمهام جديدة مثل معالجة الفيديو (النظر في المخاطر).
• قم بتنفيذ الإخراج التكراري والمتعدد الأجيال مع الخطوط العريضة التي تؤدي إلى تمريرات متعددة حتى يتم الوصول إلى نتيجة نهائية.
• الاستفادة من الكلام إلى رسالة نصية مع شمعة يهمس لإدخال الصوت ، مما يتيح الأوامر الصوتية إلى LLM لمحادثة الذكاء الاصطناعي.

المساهمة

يتم الترحيب بالمساهمات بحرارة ، وخاصة في مجالات مثل تطوير الميزات وتحسين الأداء والوثائق. يمكن أن تعزز خبرتك قدرات مجموعة الأدوات بشكل كبير وتجربة المستخدم.

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. انظر ملف الترخيص للحصول على معلومات مفصلة.

شكر وتقدير

• محولات/موتر صدأ الشموع عن طريق Huggingface: شمعة
• Openai لمواصفات API: Openai
• Openai لتكامل TTS: Openai
• metavoice لتكامل TTS: metavoice
• Mimic3 لتكامل TTS: Mimic3
• يهمس لخطاب النص: الهمس
• Google Gemini LLM: Gemini
• MISTRAL LLM: MISTRAL

مؤلف

كريس كينيدي ، يقود تطوير حلول الذكاء الاصطناعي المبتكرة مع مجموعة أدوات MacOS Metal GPU Rust LLM. فبراير 2024.

نحن ملتزمون بدفع حدود تكامل الذكاء الاصطناعى مع تكنولوجيا الفيديو والإدخال/الإخراج متعدد الوسائط على وحدات المعالجة المركزية لذراع MacOS في الصدأ النقي ، وضمان إمكانية الوصول إلى مطوري الوسائط والباحثين إلى أدوات قوية وفعالة ومتعددة الاستخدامات لمشاريعهم التي تحركها AI.