browser ml inference

Prediksi Emosi Teks di Browser

Aplikasi React ini menunjukkan inferensi ML di browser menggunakan

• Halaman CloudFlare Untuk Memberikan Aplikasi dan Model React melalui Worldwide Content Delivery Network (CDN)
• Onnx Runtime Web untuk inferensi model di browser
• Huggingface untuk NLP Model Hosting dan Pelatihan API (Transformer Library)
• Google Colab untuk pelatihan model menggunakan instance GPU

Demo langsung di https://aiserv.cloud/.

Lihat juga posting blog saya memindahkan inferensi ML dari cloud ke edge dan menggunakan model transformator di browser dengan #ONNXRunTime di YouTube.

Model prediksi emosi adalah versi yang disesuaikan dengan model bahasa pra-terlatih Microsoft/XtremEdistil-L6-H384-tidak. Model ini telah disesuaikan dengan dataset Goemotions yang merupakan masalah kategorisasi teks multi-label.

Goemotions, dataset yang dianotasi manusia dari 58K Reddit komentar yang diekstraksi dari subreddit berbahasa Inggris populer dan diberi label dengan 27 kategori emosi. Sebagai dataset emosi berbutir berbutir berbutir bahasa Inggris terbesar hingga saat ini. Berbeda dengan enam emosi dasar, yang hanya mencakup satu emosi positif (sukacita), taksonomi mencakup 12 kategori emosi positif, 11 negatif, 4 ambigu dan 1 "netral", membuatnya sangat cocok untuk melakukan percakapan memahami tugas -tugas yang membutuhkan diferensiasi halus antara ekspresi emosi.

Goemotions kertas: Dataset emosi berbutir halus

• Model fine-tuned diselenggarakan di Huggingface: Bergum/Xtremedistil-L6-H384-GO-EMotion.
• Dataset go_emotions tersedia di HuggingFace Dataset Hub.

Lihat traingoemotions.ipynb untuk cara melatih model pada dataset dan mengekspor model yang disesuaikan ke ONNX.

Onnx-runtime-Web

Model ini dikuantisasi ke bobot int8 dan memiliki parameter yang dapat dilatih 22 juta.

Inferensi adalah multi-threaded. Untuk menggunakan beberapa utas inferensi, header HTTP spesifik harus disajikan oleh CDN, lihat Membuat situs web Anda "silang-asal terisolasi" menggunakan Coop dan Coep.

Tiga utas digunakan untuk inferensi. Karena bug multi-threading dan coop header ini harus dinonaktifkan karena model akan secara diam-diam gagal menginisialisasi pada perangkat iOS.

Untuk pengembangan, src/setupproxy.js menambahkan header yang diperlukan. Lihat React Issue 10210

Navigasi kode

• Logika frontend aplikasi ada di src/app.js
• Logika inferensi model ada di src/inferensi.js
• Tokenizer ada di SRC/Bert_Tokenizer.js yang merupakan salinan Google TFJS (Apache 2.0)
• Cloudflare Header mengesampingkan kebijakan cross-origin coop untuk memungkinkan multi-berulur publik/_header.

Model dan Bias Bahasa

Model bahasa pra-terlatih dilatih pada teks dengan bias, lihat bahaya burung beo stokastik: Bisakah model bahasa terlalu besar? Untuk studi tentang bahaya model bahasa pra-terlatih dan transfer pembelajaran.

Dari dataset kertas goemotions: set data emosi berbutir halus:

Penafian Data: Kami sadar bahwa dataset berisi bias dan tidak mewakili keragaman global. Kami sadar bahwa dataset berisi konten yang berpotensi bermasalah. Bias potensial dalam data meliputi: bias inheren dalam reddit dan bias basis pengguna, daftar kata ofensif/vulgar yang digunakan untuk pemfilteran data, bias yang melekat atau tidak sadar dalam penilaian label identitas ofensif, annotator adalah semua penutur asli bahasa Inggris dari India. Semua ini kemungkinan mempengaruhi pelabelan, presisi, dan penarikan untuk model yang terlatih. Model percontohan emosi yang digunakan untuk pelabelan sentimen, dilatih pada contoh yang ditinjau oleh tim peneliti. Siapa pun yang menggunakan dataset ini harus menyadari keterbatasan dataset ini.

Menjalankan aplikasi ini

Instal Node.js/NPM, lihat Menginstal Node.js

Di direktori proyek, Anda dapat menjalankan:

npm start

Menjalankan aplikasi dalam mode pengembangan.
Buka http: // localhost: 3000 untuk melihatnya di browser Anda.

Halaman akan memuat ulang saat Anda melakukan perubahan.
Anda juga dapat melihat kesalahan serat di konsol.

npm run build

Membangun aplikasi untuk produksi ke folder build .
Bundelnya dengan benar bereaksi dalam mode produksi dan mengoptimalkan build untuk kinerja terbaik.

Aplikasi Menyebarkan

Klone repo ini dan gunakan halaman cloudflare.

Todo

• Perbaiki build untuk menyalin file wasm dari node_modules untuk dibangun untuk menghindari memiliki file wasm di bawah kontrol sumber.
• PR dan Umpan Balik Selamat Datang - Buat masalah untuk menghubungi.