flexatar virtual webcam

Flexatar Virtual Webcam

Виртуальная веб -камера Flexatar - это технология, которую

1. Создает 3D -модель (называемую Flexatar ) с одной фотографии за несколько секунд.
2. Animate Audio с Flexatar в браузере (на Device, Inc Mobile) в жестком реальном времени

Наша технология преднамеренно разработана для WEBRTC !

Демо

Для начала, пожалуйста, посмотрите на нашу демонстрацию анимирования Flexatar с веб -радио в вашем браузере.

Вы можете найти предварительные примеры здесь

Сценарии

Сценарий 1: Виртуальная веб -камера WEBRTC?

Ключевое преимущество метода Flexatar заключается в том, что его можно использовать для аниматического аудио -трека пользователя от микрофона, тем самым выступая в качестве виртуальной веб -камеры для WEBRTC .

Мы планируем взять на себя примеры интеграции, чтобы привести WEBRTC SFU, такие как Janus, LiveKit и т. Д. Не стесняйтесь предлагать кандидатам.

Процедура заключается в следующем:

1. getusermedia () только с аудио
2. Аудио доставляется в FlexatarsDK
3. FlexatArsDK поставляет как аудио , так и видео треки, обеспечивая липсингинг

  navigator.mediaDevices
    .getUserMedia({audio: true,})
    .then((stream) => {
        flexatarSDK.audioInputByMediaStrem(stream)
    })

Мы планируем в ближайшее время поделиться примером взаимодействия пион

Сценарий 2: анимировать аудио для пользователя

Мы нацеливаемся на очевидные приложения, такие как виртуальные помощники, боты и т. Д. Демонстрация дает представление о том, как это работает.

Все, что вам нужно, это

• init flexataranimator с токеном и свяжитесь с Flexatar
• обеспечить аудио
• Подключить выход к видео -элементу

 videoElement.srcObject = ftar.FlexatarSDK.mediaStreamFactory(
    "<token>",
    "<flexatar link from telegram bot>",
    mediaStream, // media stream with audio track
    (success) => {
        if (success){
            // Do your awesome stuff ...
        }else{
            console.log("Flexatar media stream is unavailable")
        }
    }
)

В контексте упомянутого сценария мы работаем над интеграцией с

• Различные фронтальные рамки
• Популярные услуги текста в речь (TTS)

Следите за обновлениями!

Сценарий 3: Создание статических изображений "магии"?

Как в волшебных фильмах: фото начинает двигаться. С технической точки зрения: нет необходимости получать аудио -функции и оживить, как указано выше, анимационная шаблона достаточно.

Использование Flexatar SDK на вашем сайте

B2B Callflow

Мы предоставляем FlexatarsDK как B2B нашим партнерам.

По умолчанию наши услуги предоставляются в качестве предоплаты. После уплаченных денег мы делимся секретом .

Чтобы включить нашу Flexatar SDK для ваших клиентов, вам необходимо получить токен от нашего бэкэнда и предоставить его вашему клиенту.

Когда пользователю требуется сервис от нашего партнера (1), партнеру необходимо сделать запрос POST (2) на нашу бэкэнд, с секретом в заголовке носителя и JSON в органе запроса. JSON содержит пользовательские данные и тариф («подписка»), которые будут использоваться.

Ответ (3) содержит JSON с токеном , который должен быть предоставлен пользователю, наряду с веб -страницей и Flexatar SDK (4).

Когда SDK необходимо создать или загрузить Flexatar (5) для пользователя, токен участвует.

B2B POST Параметры

Запрашивание заголовков:

 "Content-Type: application/json" 
"Authorization: Bearer <Secret>"

Разместите запрос json fields:

 "subscription": "<the tariff to be used>",
"authtype": "<the way how the end-user was authenticated, like gmail.com>",
"user": "<user id>",
"resubscribe": true   __optional, if the user is to be charged as a new one__

Поля ответа:

 "token": "<token for the given end-user>",
"ExpiresAt": "when the token expires",
"is_expired": <bool>  __if the token expires, either time-based or resources consumed__
"exists": <bool> __if the token is charged now or have already been charged earlier__

Производить платежи

Мы скоро примем платежи полосы. Мы открыты, чтобы обсудить другие альтернативы.

Часто задаваемые вопросы

1. Что означает Flexatar ?

• Flexatar - это наш формат хранения 3D -модели человеческого лица , способная к онлайн -анимации в браузере в реальном времени с помощью WebGL .

2. Могу ли я сделать Flexatar самостоятельно?

• Конечно. Просто отправьте фото нашему боту Telegram

3. Это 3d?

• Да! Мы можем экспортировать Flexatar как обычный файл .OBJ с 3D -моделью и текстурами. Если вы разработчик игр и нуждаетесь в специальной 3D или парирующей модели, пожалуйста, не стесняйтесь обращаться к нам

4. Что находится под капюшоном?

• Наша внутренняя математика работает на бэкэнд, чтобы вычислить и хранить Flexatars
• Рендеринг выполняется в JS с Webgl

5. Сколько времени нужно, чтобы создать Flexatar ?

• Чтобы вычислить гиптуристую GPU на фото, требуется пара секунд, и еще несколько секунд, чтобы доставить/очередь и т. Д.

6. Масштабируемая технология?

• Да. Бэкэнд работает на AWS и предназначен для чрезвычайно масштабируемого, как с точки зрения создания Flexatar , так и использования

7. Мобильный SDK?

• Запланировано

8. Любые ограничения?

• Все Flexatars должны храниться исключительно в наших ресурсах. Запрещено хранить или кеш
• Flexatars принадлежат как человеку, который владеет изображением, и нами, которые его создали и не могут использоваться ни одной стороной без взаимного согласия
• Мы взимаем плату за коммерческое использование нашей технологии
• Лицензия должна быть опубликована в ближайшее время