flexatar virtual webcam

Webcam virtual flexatar

Flexatar Virtual Webcam es la tecnología que

1. Crea un modelo 3D (llamado Flexatar ) de una sola foto en unos segundos.
2. Animate Audio con Flexatar en Browser (en el dispositivo, Inc Mobile) en tiempo real duro

¡Nuestra tecnología está diseñada intencionalmente para WEBRTC !

Manifestación

Para empezar, eche un vistazo a nuestra demostración de animar flexatar con la radio web en su navegador.

Puedes encontrar los ejemplos preliminares aquí

Escenarios

Escenario 1: WebRTC Virtual Webcam?

La ventaja clave de la técnica Flexatar es que se puede utilizar para animar la pista de audio del usuario desde el micrófono, actuando así como una cámara web virtual para WebRTC .

Estamos planeando cometer ejemplos de integración para liderar las SFU de WEBRTC como Janus, LiveKit, etc., no dude en ofrecer candidatos.

El procedimiento es el siguiente:

1. getUsermedia () con solo audio
2. El audio se entrega a FlexatarsDK
3. FlexatarSDK suministra pistas de audio y video que garantizan la línea de labios

  navigator.mediaDevices
    .getUserMedia({audio: true,})
    .then((stream) => {
        flexatarSDK.audioInputByMediaStrem(stream)
    })

Estamos planeando compartir el ejemplo de Pion Interfacing Soon

Escenario 2: Animación de audio para el usuario

Estamos apuntando a aplicaciones obvias como asistentes virtuales, bots, etc. La demostración proporciona una idea de cómo funciona.

Todo lo que necesitas es

• Init Flexataranimator con token y enlace al Flexatar
• proporcionar audio
• conectar la salida a un elemento de video

 videoElement.srcObject = ftar.FlexatarSDK.mediaStreamFactory(
    "<token>",
    "<flexatar link from telegram bot>",
    mediaStream, // media stream with audio track
    (success) => {
        if (success){
            // Do your awesome stuff ...
        }else{
            console.log("Flexatar media stream is unavailable")
        }
    }
)

En el contexto del escenario mencionado, estamos trabajando en la integración con

• Varios marcos frontends
• Servicios populares de texto a voz (TTS)

¡Manténganse al tanto!

Escenario 3: ¿Hacer que las imágenes estáticas "magia"?

Como en películas de magia: una foto comienza a moverse. Desde el punto de vista técnico: no es necesario obtener funciones de audio y animar como se indica anteriormente, el patrón de animación es suficiente.

Uso de Flexatar SDK en su sitio web

B2B Callflow

Estamos proporcionando FlexatarsDK como B2B a nuestros socios.

Por defecto, nuestros servicios se proporcionan como prepagos. Después del dinero pagado, estamos compartiendo un secreto .

Para habilitar nuestro SDK Flexatar para sus clientes, debe recibir token de nuestro backend y proporcionarlo a su cliente.

Cuando un usuario requiere un servicio de nuestro socio (1), un socio debe hacer una solicitud posterior (2) a nuestro backend, con secreto en el encabezado Bearer y JSON en el cuerpo de solicitud. El JSON contiene datos de usuario y tarifa ("suscripción") que se utilizarán.

La respuesta (3) contiene JSON con token que se proporcionará al usuario, junto con una página web y un SDK flexatar (4).

Cuando SDK necesita crear o descargar Flexatar (5) para el usuario, el token está involucrado.

Parámetros de publicación B2B

Encabezados de solicitud:

 "Content-Type: application/json" 
"Authorization: Bearer <Secret>"

Solicitud post JSON Fields:

 "subscription": "<the tariff to be used>",
"authtype": "<the way how the end-user was authenticated, like gmail.com>",
"user": "<user id>",
"resubscribe": true   __optional, if the user is to be charged as a new one__

Campos de respuesta posteriores:

 "token": "<token for the given end-user>",
"ExpiresAt": "when the token expires",
"is_expired": <bool>  __if the token expires, either time-based or resources consumed__
"exists": <bool> __if the token is charged now or have already been charged earlier__

Hacer pagos

Aceptaremos los pagos de rayas pronto. Estamos abiertos a discutir otras alternativas.

Preguntas frecuentes

1. ¿Qué representa flexatar ?

• Flexatar es nuestro formato de almacenar el modelo 3D de cara humana , capaz de animar en línea en el navegador en tiempo real usando WebGL .

2. ¿Puedo hacer un flexato por la mía?

• Seguro. Solo envía una foto a nuestro bot de telegrama

3. ¿Es 3D?

• ¡Sí! Podemos exportar flexatar como un archivo .obj convencional con modelo 3D y texturas. Si eres un desarrollador de juegos y necesitas un 3D personalizado o un modelo morfable, no dude en contactarnos

4. ¿Qué hay debajo del capó?

• Nuestras matemáticas internas se ejecutan en backend para calcular y almacenar flexatares
• La renderización se realiza en JS con WebGL

5. ¿Cuánto tiempo se tarda en crear un flexato ?

• Se tarda un par de segundos en calcular flexatar en GPU por foto, y pocos segundos más para entregar/cola, etc. Hacer un flexato de alta calidad con boca personalizada tarda aproximadamente 10 segundos

6. ¿La tecnología es escalable?

• Sí. El backend se ejecuta en AWS y está destinado a ser extremadamente escalable, tanto en términos de creación y uso.

7. Mobile SDK?

• Programado

8. ¿Alguna restricción?

• Todos los flexatares deben almacenarse en nuestros recursos exclusivamente. Está prohibido almacenar o caché flexatares
• Los flexatares pertenecen tanto a la persona que posee la imagen como a nosotros que la creó y no puede ser utilizada por ningún lado sin acuerdo mutuo
• Cobraremos por el uso comercial de nuestra tecnología
• La licencia se publicará pronto