
دعم الشبكة العصبية كمكونات الإضافات Gstreamer.
Nnstreamer هي مجموعة من الإضافات Gstreamer التي تسمح لمطوري Gstreamer بتبني نماذج الشبكة العصبية بسهولة وكفاءة ومطوري الشبكات العصبية لإدارة خطوط أنابيب الشبكات العصبية ومرشحاتهم بسهولة وكفاءة.
الوصف المعماري (WIP)
نحو الجهاز من الذكاء الاصطناعي من AI على الجهاز مع خطوط أنابيب التيار ، IEEE/ACM ICSE 2022 SEIP
Nnstreamer: التطوير الفعال والرشيق لأنظمة الذكاء الاصطناعي على الأجهزة ، IEEE/ACM ICSE 2021 SEIP [Media]
Nnstreamer: نموذج معالجة الدفق للشبكات العصبية ... [PDF/Tech Report]
Gstreamer Conference 2018 ، nnstreamer [Media] [PDF/Slides]
Naver Tech Talk (Korean) ، 2018 [Media] [PDF/Slides]
مؤتمر مطور Samsung 2019 ، Nnstreamer (Media)
صفحة ResearchGate من nnstreamer
| تيزن | أوبونتو | Android | يوكو | ماكوس | |
|---|---|---|---|---|---|
| 5.5m2 وبعد ذلك | 16.04 /18.04/20.04/22.04 | 13 | كيركستون | ||
| ذراع | متاح | متاح | مستعد | ن/أ | |
| ARM64 | متاح | ن/أ | |||
| x64 | مستعد | مستعد | متاح | ||
| نشر | Tizen repo | PPA | بناء يومي | طبقة | الحنفية المشروب |
| API | C/C# (رسمي) | ج | جافا | ج | ج |
جاهز: نظام CI يضمن قدرة البناء واختبار الوحدة. يمكن للمستخدمين بناء وتنفيذ بسهولة. ومع ذلك ، ليس لدينا نظام الإصدار والنشر الآلي لهذه الحالة.
متاح: يتم إصدار الحزم الثنائية ونشرها تلقائيًا وبشكل دوري مع اختبارات CI.
الافراج اليومي
دعم SDK: Tizen Studio (5.5 M2+) / Android Studio (JCenter ، "Nnstreamer")
ميزات ممكّنة للإصدارات الرسمية
توفير اتصالات إطار الشبكة العصبية (على سبيل المثال ، TensorFlow ، Caffe) لتيارات Gstreamer.
تدفق فعال لمشاريع الذكاء الاصطناعي : تطبيق خط أنابيب دفق فعال ومرن على الشبكات العصبية.
مرشحات وسائل الإعلام الذكية! : استخدم نموذج الشبكة العصبية كمرشح / محول الوسائط.
نماذج مركبة! : نماذج الشبكة العصبية المتعددة في مثيل خط أنابيب دفق واحد.
الذكاء متعدد الوسائط! : مصادر متعددة ومسارات دفق لنماذج الشبكة العصبية.
توفير طرق سهلة لبناء تدفقات الوسائط مع نماذج الشبكة العصبية باستخدام إطار عمل دفق الوسائط غير المعيار ، Gstreamer .
مستخدمي Gstreamer: استخدم نماذج الشبكة العصبية كما لو كانت مرشحات وسائط أخرى.
مطورو الشبكات العصبية: إدارة تدفقات الوسائط بسهولة وكفاءة.
لحم الخنزير myungjoo
جيجونج مون
جونسيك ليم
سانججونغ وو
أغنية ووك
Jaeyun Jung
Hyoungjoo Ahn
باريشاي كابور
Dongju Chae
جيشان جانج
Yongjoo Ahn
Jihoon Lee
لاحظ أن هذا المشروع قد بدأ للتو وأن العديد من المكونات في مرحلة التصميم. في صفحة وصف المكون ، وصفنا مكونات nnstreamer من الفئات الثلاث التالية: تعريفات نوع البيانات ، وعناصر Gstreamer (الإضافات) ، ومكونات Misc الأخرى.
لمزيد من التفاصيل ، يرجى الوصول إلى الأدلة التالية.
للأنظمة التي تشبه Linux مثل Tizen و Debian و Ubuntu ، اضغط هنا.
لأنظمة MacOS ، اضغط هنا.
لبناء مكتبة API لنظام Android ، اضغط هنا.







أمثلة Edge-AI
المنتجات مع nnstreamer
تطبيقات مثال Nnstreamer: Github / لقطات الشاشة
حالة خدمة CI
ملفات التكوين TAOS-CI لـ nnstreamer.
على الرغم من أن الإطار قد يتسارع بشفافية كما يفعل TensorFlow-GPU ، فإن NNStreamer يوفر العديد من plugins تسريع الأجهزة.
Movidius-X عبر NCSDK2 Subplugin: تم إصداره
Movidius-X عبر Openvino Subplugin: تم إصداره
Edge-TPU عبر edgetpu subplugin: تم إصداره
وقت تشغيل واحد عبر NNFW (اسم قديم لواحد ) subplugin: تم إصداره
Armnn عبر Armnn Subplugin: تم إصداره
Verisilicon-Vivante عبر Vivante Subplugin: تم إصداره
Qualcomm SNPE عبر SNPE Subplugin: تم إصداره
Qualcomm AI Engine Direct (QNN) عبر QNN Subplugin: تم إصداره
nvidia عبر Tensorrt subplugin: تم إصداره
TRI-X NPUS: تم إصداره
سلسلة NXP I.MX: عبر البائع
آخرون: TVM ، TensorFlow ، Tensorflow-Lite ، Pytorch ، Caffe2 ، Snap ، ...
المساهمات مرحب بها! يرجى الاطلاع على دليل المساهمة لدينا لمزيد من التفاصيل.