browser ml inference
1.0.0
Diese React -App zeigt die ML -Inferenz im Browser mit Verwendung
Live -Demo unter https://aiserv.cloud/.
Siehe auch meinen Blog -Beitrag, der ML -Inferenz von der Cloud bis zum Edge bewegt und Transformatormodelle im Browser mit #AnnxRuntime auf YouTube bereitstellt.
Das Emotionsvorhersagemodell ist eine fein abgestimmte Version des vorgebildeten Sprachmodells Microsoft/Xtremedil-L6-H384-Unbekannter. Das Modell wurde auf dem Goemotions-Datensatz fein abgestimmt, ein Multi-Label-Textkategorisierungsproblem.
Goemotions, ein von Menschen ankündigter Datensatz von 58K Reddit-Kommentaren, extrahiert aus beliebten englischsprachigen Subreddits und mit 27 Emotionskategorien beschriftet. Als größte vollständig kommentierte englischsprachige feinkörnige Emotionsdatensätze. Im Gegensatz zu den grundlegenden sechs Emotionen, darunter nur eine positive Emotion (Joy), umfasst die Taxonomie 12 positive, 11 negative, 4 mehrdeutige Emotionskategorien und 1 „neutral“, was es für Gesprächsverständnis Aufgaben, die eine subtile Differenzierung zwischen Emotionsausdrücken erfordern, weithin geeignet sind.
Papier Goemotions: Ein Datensatz feinkörniger Emotionen
go_emotions ist im Huggingface -Datensatz -Hub verfügbar.Siehe Traingoemotions.ipynb, um ein Modell auf dem Datensatz zu trainieren und das fein abgestimmte Modell nach ONNX zu exportieren.
Das Modell wird auf int8 -Gewichte quantisiert und hat 22 m trainierbare Parameter.
Inferenz ist multi-thread. Um mehrere Inferenz-Threads zu verwenden, müssen bestimmte HTTP-Header von der CDN angezeigt werden. Wenn Sie Ihre Website mit Coop und Coep "Cross-Origin isoliert" machen.
Drei Threads werden zur Folgerung verwendet. Aufgrund dieses Fehlers Multi-Threading und Coop mussten die Header deaktiviert werden, da das Modell stillschweigend nicht auf iOS-Geräten initialisieren würde.
Für die Entwicklung fügt der src/setupproxy.js die erforderlichen Header hinzu. Siehe React Ausgabe 10210
Das vorgeborene Sprachmodell wurde auf Text mit Vorurteilen trainiert, siehe die Gefahren stochastischer Papageien: Können Sprachmodelle zu groß sein? für eine Studie über die Gefahren vorgebliebener Sprachmodelle und Übertragungslernen.
Aus Datensatzpapier Goemotions: Ein Datensatz feinkörniger Emotionen:
Data Haftungsausschluss: Wir sind uns bewusst, dass der Datensatz Verzerrungen enthält und nicht repräsentativ für die globale Vielfalt ist. Wir sind uns bewusst, dass der Datensatz potenziell problematische Inhalte enthält. Zu den potenziellen Verzerrungen in den Daten gehören: inhärente Verzerrungen in Reddit- und Benutzerbasis -Verzerrungen, die offensiven/vulgären Wortlisten für Datenfilterung, inhärente oder unbewusste Tendenz bei der Bewertung von Offensividentitätsbezeichnungen. All dies wirkt sich wahrscheinlich auf die Kennzeichnung, Präzision und Rückruf für ein geschultes Modell aus. Das für die Sentiment -Markierung verwendete Emotion -Pilot -Modell wurde an Beispielen geschult, die vom Forschungsteam überprüft wurden. Jeder, der diesen Datensatz verwendet, sollte sich über diese Einschränkungen des Datensatzes bewusst sein.
Installieren Sie node.js/npm, siehe installieren node.js
Im Projektverzeichnis können Sie ausführen:
npm start Führt die App im Entwicklungsmodus aus.
Öffnen Sie http: // localhost: 3000, um es in Ihrem Browser anzuzeigen.
Die Seite wird neu geladen, wenn Sie Änderungen vornehmen.
Möglicherweise sehen Sie auch Fellfehler in der Konsole.
npm run build Build die App für die Produktion im build -Ordner.
Es reagiert korrekt im Produktionsmodus und optimiert den Build für die beste Leistung.
Klonen Sie dieses Repo und verwenden Sie Cloudflare -Seiten.
