flexatar virtual webcam

Webcam virtuel flexatar

La webcam virtuelle Flexatar est la technologie qui

1. Crée un modèle 3D (appelé flexatar ) à partir d'une seule photo en quelques secondes.
2. Animer l'audio avec Flexatar dans Browser (sur le périphérique, Inc Mobile) en temps dur en temps réel

Notre technologie est intentionnellement conçue pour WebBrTC !

Démo

Pour commencer, veuillez jeter un œil à notre démo d'animation Flexatar avec la radio Web dans votre navigateur.

Vous pouvez trouver les exemples préliminaires ici

Scénarios

Scénario 1: webcam virtuel Webbrtc?

L'avantage clé de la technique Flexatar est qu'il peut être utilisé pour animer la piste audio de l'utilisateur à partir de microphone, agissant ainsi comme une webcam virtuelle pour WebBrTC .

Nous prévoyons de commettre des exemples d'intégration à la direction de WEBRTC SFU comme Janus, LiveKit, etc. N'hésitez pas à offrir des candidats.

La procédure est la suivante:

1. getUserMedia () avec audio uniquement
2. L'audio est livré à flexatarsdk
3. FlexatarsDK fournit des pistes audio et vidéo assurant LipSyncing

  navigator.mediaDevices
    .getUserMedia({audio: true,})
    .then((stream) => {
        flexatarSDK.audioInputByMediaStrem(stream)
    })

Nous prévoyons de partager bientôt l'exemple de l'interfaçage

Scénario 2: Animation de l'audio pour l'utilisateur

Nous ciblons des applications évidentes comme les assistants virtuels, les robots, etc. La démo fournit une idée de son fonctionnement.

Tout ce dont vous avez besoin est de

• Init Flexataranimator avec jeton et lien vers le flexatar
• Fournir audio
• Connectez la sortie à un élément vidéo

 videoElement.srcObject = ftar.FlexatarSDK.mediaStreamFactory(
    "<token>",
    "<flexatar link from telegram bot>",
    mediaStream, // media stream with audio track
    (success) => {
        if (success){
            // Do your awesome stuff ...
        }else{
            console.log("Flexatar media stream is unavailable")
        }
    }
)

Dans le contexte du scénario mentionné, nous travaillons sur l'intégration avec

• Divers cadres frontend
• Services populaires de texte à dispection (TTS)

Restez à l'écoute!

Scénario 3: Faire des images statiques "Magic"?

Comme dans les films magiques: une photo commence à bouger. Du point de vue technique: pas besoin de récupérer les fonctionnalités audio et d'animer comme ci-dessus, le modèle d'animation est suffisant.

Utilisation du SDK Flexatar sur votre site Web

B2B Callflow

Nous fournissons FlexatarsDK en tant que B2B à nos partenaires.

Par défaut, nos services sont fournis comme prépayés. Après l'argent payé, nous partageons un secret .

Pour activer notre SDK Flexatar pour vos clients, vous devez recevoir des jetons de notre backend et le fournir à votre client.

Lorsqu'un utilisateur a besoin d'un service de notre partenaire (1), un partenaire doit faire la demande de poste (2) à notre backend, avec un secret en en-tête de porteur et JSON dans le corps de la demande. Le JSON contient des données utilisateur et un tarif ("abonnement") à utiliser.

La réponse (3) contient JSON avec un jeton qui doit être fourni à l'utilisateur, ainsi qu'une page Web et un SDK Flexatar (4).

Lorsque SDK doit créer ou télécharger Flexatar (5) pour l'utilisateur, le jeton est impliqué.

Paramètres de post B2B

Demandez les en-têtes:

 "Content-Type: application/json" 
"Authorization: Bearer <Secret>"

Post demande JSON Fields:

 "subscription": "<the tariff to be used>",
"authtype": "<the way how the end-user was authenticated, like gmail.com>",
"user": "<user id>",
"resubscribe": true   __optional, if the user is to be charged as a new one__

Champs de réponse post-réponse:

 "token": "<token for the given end-user>",
"ExpiresAt": "when the token expires",
"is_expired": <bool>  __if the token expires, either time-based or resources consumed__
"exists": <bool> __if the token is charged now or have already been charged earlier__

Effectuer des paiements

Nous accepterons bientôt les paiements de Stripe. Nous sommes ouverts pour discuter d'autres alternatives.

FAQ

1.Quel Flexatar représente-t-il?

• Flexatar est notre format de stockage du modèle 3D de visage humain , capable d'animer en ligne dans le navigateur en temps réel à l'aide de WebGL .

2. Puis-je faire un flexatar par le mien?

• Bien sûr. Envoyez simplement une photo à notre bot télégramme

3. est-ce 3D?

• Oui! Nous pouvons exporter Flexatar en tant que fichier .OBJ conventionnel avec modèle 3D et textures. Si vous êtes un développeur de jeux et que vous avez besoin d'une 3D personnalisée ou d'un modèle morphable, n'hésitez pas à nous contacter

4. Qu'est-ce qui est sous le capot?

• Nos mathématiques internes fonctionnent sur le backend pour calculer et stocker des flexatars
• Le rendu est effectué en js avec webgl

5. Combien de temps faut-il pour créer un flexatar ?

• Il faut quelques secondes pour calculer Flexatar sur GPU par photo, et quelques secondes supplémentaires pour livrer / file d'attente, etc. Fendant Flexatar de haute qualité avec une bouche personnalisée prend environ 10 secondes

6. La technologie est-elle évolutive?

• Oui. Le backend fonctionne sur AWS et est destiné à être extrêmement évolutif, à la fois en termes de création de flexatar et d'utilisation

7. Mobile SDK?

• Programmé

8.Tour restrictions?

• Tous les flexatars doivent être stockés sur nos ressources exclusivement. Il est interdit de stocker ou de mettre en cache des flexatars
• Les flexatars appartiennent à la fois à la personne qui possède l'image et nous qui l'a créé et ne peut être utilisé par aucun côté sans accord mutuel
• Nous facturerons l'utilisation commerciale de notre technologie
• La licence doit être publiée bientôt