browser ml inference

Прогноз эмоций текста в браузере

Это приложение React демонстрирует вывод ML в браузере с использованием

• Страницы CloudFlare для доставки приложения и модели React через Worldwide Content Network (CDN)
• Web Onnx Runtime Web для модельного вывода в браузере
• Huggingface для хостинга модели NLP и обучения API (библиотека трансформаторов)
• Google Colab для обучения модели с использованием экземпляров GPU

Живая демонстрация на https://aiserv.cloud/.

См. Также мой пост в блоге «Перемещение ML» от облака к краю и разверните модели трансформаторов в браузере с #onnxruntime на YouTube.

Модель прогнозирования эмоций представляет собой тонкую версию предварительно обученной языковой модели Microsoft/Xtremedistil-L6-H384-Upseded. Модель была точно настроена на набор данных GoeMotions, который представляет собой проблему категоризации текста с несколькими маршрутами.

GoeMotions, аннотированный человеческий набор данных из 58 тыс. КОММЕНТАРИИ REDDIT, извлеченные из популярных англоязычных подэддитов и помеченный 27 категорий эмоций. Как самый большой полностью аннотированный набор данных о эмоциях на английском языке. В отличие от основных шести эмоций, которые включают только одну положительную эмоцию (радость), таксономия включает в себя 12 положительных, 11 негативных, 4 неоднозначных категорий эмоций и 1 «нейтральные», что делает его широко подходящим для задач понимания разговоров, которые требуют тонкой дифференциации между выражениями эмоций.

Paper GoeMotions: набор данных из мелкозернистых эмоций

• Модель с тонкой настройкой размещена на Huggingface: Bergum/Xtremedistil-L6-H384-Go-Emotion.
• Набор данных go_emotions доступен в центре наборов данных HuggingFace.

См. Traingoemotions.ipynb для обучения модели на наборе данных и экспортировать тонко настроенную модель в ONNX.

Onnx-runtime-Web

Модель квантована до веса int8 и имеет 22 -метровые параметры.

Вывод многопоточный. Для использования нескольких потоков вывода, конкретные заголовки HTTP должны быть представлены в CDN, см. Сделать ваш веб-сайт «изолированным кросс-аоригином» с использованием COOP и COEP.

Три потока используются для вывода. Из-за этой ошибки многопоточные и курятники должны были быть отключены, так как модель молча не сможет инициализации на устройствах iOS.

Для разработки SRC/setupproxy.js добавляет необходимые заголовки. См. Реакт выпуск 10210

Навигация кода

• Логика фронта приложений находится в src/app.js
• Логика вывода модели находится в src/spence.js
• Токенизатор находится в src/bert_tokenizer.js, который является копией Google TFJS (Apache 2.0)
• Заголовок CloudFlare переопределение для политики Cross-Oriigin Coop, чтобы включить многопоточный вывод Public/_Header.

Модели и языковые предубеждения

Предварительно обученная языковая модель была обучена тексту с смещениями, см. Об опасности стохастических попугаев: могут ли языковые модели быть слишком большими? Для исследования об опасностях предварительно обученных языковых моделей и переноса обучения.

Из набора данных GoeMotions: набор данных из мелкозернистых эмоций:

Отказ от ответственности данных: мы знаем, что набор данных содержит предубеждения и не является репрезентативным для глобального разнообразия. Мы знаем, что набор данных содержит потенциально проблемный контент. Потенциальные смещения в данных включают в себя: неотъемлемые смещения в Reddit и предвзятости пользователей, атакующие/вульгарные списки слов, используемые для фильтрации данных, неотъемлемых или бессознательных предвзятости при оценке наступательных идентификационных метков, аннотаторы были носителями английского языка из Индии. Все это, вероятно, влияет на маркировку, точность и отзыв для обученной модели. Эмоциональная модель, используемая для маркировки настроений, была обучена примерам, рассмотренным исследовательской группой. Любой, кто использует этот набор данных, должен знать об этих ограничениях набора данных.

Запуск этого приложения

Установить node.js/npm, см. Установка node.js

В каталоге проекта вы можете запустить:

npm start

Запускает приложение в режиме разработки.
Откройте http: // localhost: 3000, чтобы просмотреть его в своем браузере.

Страница будет перезагружаться при внесении изменений.
Вы также можете увидеть любые ошибки ворса в консоли.

npm run build

Создает приложение для производства в папку build .
Он правильно реагирует в производственном режиме и оптимизирует сборку для наилучшей производительности.

Приложение развертывания

Клонировать это репо и использовать страницы CloudFlare.

Тодо

• Исправьте сборку, чтобы скопировать файлы wasm из node_modules для сборки, чтобы избежать использования файлов WASM под управлением источника.
• PR и обратная связь Добро пожаловать - создайте проблему, чтобы связаться.