nnstreamer
2.0.1
Dukungan jaringan saraf sebagai plugin GStreamer.
NNStreamer adalah satu set plugin GStreamer yang memungkinkan pengembang Gstreamer untuk mengadopsi model jaringan saraf dengan mudah dan efisien dan saraf pengembang untuk mengelola jaringan pipa jaringan saraf dan filternya dengan mudah dan efisien.
Deskripsi Arsitektur (WIP)
Menuju AI di antara perangkat AI dari AI di perangkat dengan pipa aliran, IEEE/ACM ICSE 2022 SEIP
NNStreamer: Pengembangan sistem AI on-perangkat yang efisien dan gesit, IEEE/ACM ICSE 2021 SEIP [Media]
NNStreamer: Paradigma pemrosesan aliran untuk jaringan saraf ... [Laporan PDF/Tech]
Konferensi GStreamer 2018, Nnstreamer [Media] [PDF/Slide]
Naver Tech Talk (Korea), 2018 [Media] [PDF/Slide]
Samsung Developer Conference 2019, Nnstreamer (Media)
Halaman Peneliti Nnstreamer
| Tizen | Ubuntu | Android | Yocto | MacOS | |
|---|---|---|---|---|---|
| 5.5m2 dan yang lebih baru | 16.04 /18.04/20.04/22.04 | 13 | Kirkstone | ||
| lengan | Tersedia | Tersedia | Siap | N/a | |
| ARM64 | Tersedia | N/a | |||
| x64 | Siap | Siap | Tersedia | ||
| Menerbitkan | Repo tizen | PPA | Build harian | Lapisan | Tap buatan |
| API | C/C# (resmi) | C | Jawa | C | C |
Siap: Sistem CI memastikan kemampuan membangun dan pengujian unit. Pengguna dapat dengan mudah membangun dan mengeksekusi. Namun, kami tidak memiliki sistem rilis & penyebaran otomatis untuk contoh ini.
Tersedia: Paket biner dilepaskan dan digunakan secara otomatis dan berkala bersama dengan tes CI.
Rilis harian
Dukungan SDK: Tizen Studio (5,5 m2+) / Android Studio (JCenter, "Nnstreamer")
Fitur yang diaktifkan dari rilis resmi
Berikan konektivitas kerangka kerja jaringan saraf (misalnya, TensorFlow, Caffe) untuk aliran GStreamer.
Streaming yang efisien untuk proyek AI : Menerapkan pipa aliran yang efisien dan fleksibel ke jaringan saraf.
Filter media yang cerdas! : Gunakan model jaringan saraf sebagai filter / konverter media.
Model Komposit! : Beberapa model jaringan saraf dalam contoh pipa aliran tunggal.
Kecerdasan multi modal! : Berbagai sumber dan jalur aliran untuk model jaringan saraf.
Berikan metode yang mudah untuk membangun aliran media dengan model jaringan saraf menggunakan kerangka aliran media de-facto-standar, GStreamer .
Pengguna GStreamer: Gunakan model jaringan saraf seolah -olah mereka adalah filter media lain.
Pengembang Jaringan Saraf: Kelola aliran media dengan mudah dan efisien.
Myungjoo Ham
Jijoong Moon
Geunsik Lim
Sangjung Woo
Lagu Wook
Jaeyun Jung
Hyoungjoo Ahn
Parichay Kapoor
Dongju Chae
Gichan Jang
Yongjoo Ahn
Jihoon Lee
Perhatikan bahwa proyek ini baru saja dimulai dan banyak komponen berada dalam fase desain. Di halaman deskripsi komponen, kami menjelaskan komponen nnstreamer dari tiga kategori berikut: Definisi tipe data, elemen gstreamer (plugin), dan komponen misc lainnya.
Untuk detail lebih lanjut, silakan akses manual berikut.
Untuk sistem seperti Linux seperti Tizen, Debian, dan Ubuntu, tekan di sini.
Untuk sistem macOS, tekan di sini.
Untuk membangun perpustakaan API untuk Android, tekan di sini.
Contoh Edge-AI
Produk dengan nnstreamer
Contoh aplikasi nnstreamer: github / screenshot
Status Layanan CI
File konfigurasi taos-ci untuk nnstreamer.
Meskipun kerangka kerja dapat mempercepat secara transparan seperti yang dilakukan TensorFlow-GPU, NNStreamer menyediakan berbagai subplugin akselerasi perangkat keras.
Movidius-X via NCSDK2 Subplugin: Dirilis
Movidius-X melalui OpenVino Subplugin: Dirilis
Edge-TPU via EdgetPU Subplugin: Dirilis
One Runtime melalui NNFW (nama lama satu ) Subplugin: Dirilis
Armnn via Armnn Subplugin: Dirilis
Verisilicon-Vivante via Vivante Subplugin: Dirilis
Qualcomm SNPE via SNPE Subplugin: Dirilis
Qualcomm Ai Engine Direct (QNN) Via Qnn Subplugin: Dirilis
Nvidia via Tensorrt Subplugin: Dirilis
Tri-X NPU: Dirilis
NXP I.MX Series: Via Vendor
Lainnya: TVM, TensorFlow, TensorFlow-Lite, Pytorch, Caffe2, Snap, ...
Kontribusi dipersilakan! Silakan lihat panduan berkontribusi kami untuk detail lebih lanjut.
