flexatar virtual webcam

Flexatar Virtual Webcam

Flexatar Virtual Webcam ist die Technologie, die

1. Erstellt ein 3D -Modell ( Flexatar genannt) aus nur einem einzigen Foto in wenigen Sekunden.
2. Animate Audio mit Flexatar im Browser (auf dem Gerät, Inc Mobile) in harter Echtzeit

Unsere Technologie ist absichtlich für WebRTC entwickelt!

Demo

Schauen Sie sich zunächst unsere Demo mit Web -Radio in Ihrem Browser an.

Hier finden Sie die vorläufigen Beispiele

Szenarien

Szenario 1: WEBRTC Virtual Webcam?

Der Hauptvorteil der Flexatar -Technik besteht darin, dass sie verwendet werden kann, um die Audiospur des Benutzers vom Mikrofon zu animieren und so als virtuelle Webcam für WebRTC zu fungieren.

Wir planen, Integrationsbeispiele für führende Webu -SFUs wie Janus, LiveKit usw. zu begehen.

Das Verfahren ist wie folgt:

1. GetUsermedia () nur mit Audio
2. Audio wird an flexatarsdk geliefert
3. Flexatarsdk liefert sowohl Audio- als auch Video -Tracks, um Lipsyncing zu gewährleisten

  navigator.mediaDevices
    .getUserMedia({audio: true,})
    .then((stream) => {
        flexatarSDK.audioInputByMediaStrem(stream)
    })

Wir planen, das Beispiel für die Schnittstellenpion bald zu teilen

Szenario 2: Animieren von Audio für den Benutzer

Wir zielen auf offensichtliche Anwendungen wie virtuelle Assistenten, Bots usw. ab. Die Demo bietet eine Idee, wie sie funktioniert.

Alles was Sie brauchen ist zu

• Init flexataranimator mit Token und Link zum Flexatar
• Audio bereitstellen
• Schließen Sie die Ausgabe mit einem Videoelement an

 videoElement.srcObject = ftar.FlexatarSDK.mediaStreamFactory(
    "<token>",
    "<flexatar link from telegram bot>",
    mediaStream, // media stream with audio track
    (success) => {
        if (success){
            // Do your awesome stuff ...
        }else{
            console.log("Flexatar media stream is unavailable")
        }
    }
)

Im Kontext des erwähnten Szenarios arbeiten wir an der Integration mit

• Verschiedene Frontend -Frameworks
• Populäre Text-zu-Sprach-Dienste (TTS)

Bleiben Sie dran!

Szenario 3: statische Bilder "Magie" machen?

Wie in magischen Filmen: Ein Foto beginnt sich zu bewegen. Aus technischer Sicht: Keine Notwendigkeit, Audiofunktionen zu holen und wie oben zu animieren, reicht das Animationsmuster aus.

Verwenden von Flexatar SDK auf Ihrer Website

B2B Callflow

Wir bieten unseren Partnern Flexatarsdk als B2B an.

Standardmäßig werden unsere Dienste als Prepaid erbracht. Nach dem bezahlten Geld teilen wir ein Geheimnis .

Um unserem Flexatar SDK für Ihre Kunden zu ermöglichen, müssen Sie einen Token von unserem Backend erhalten und es Ihrem Kunden zur Verfügung stellen.

Wenn ein Benutzer einen Dienst von unserem Partner (1) benötigt, muss ein Partner eine Postanfrage (2) nach unserem Backend machen, wobei das Heirigkeit in Bearer -Header und JSON in der Antragsbehörde geheim ist . Der JSON enthält Benutzerdaten und Tarif ("Abonnement").

Die Antwort (3) enthält JSON mit Token , das dem Benutzer neben einer Webseite und einem Flexatar -SDK (4) zur Verfügung gestellt werden soll.

Wenn SDK Flexatar (5) für den Benutzer erstellen oder herunterladen muss, ist das Token beteiligt.

B2B -Postparameter

Anfrage Header:

 "Content-Type: application/json" 
"Authorization: Bearer <Secret>"

Post -Anfrage JSON -Felder:

 "subscription": "<the tariff to be used>",
"authtype": "<the way how the end-user was authenticated, like gmail.com>",
"user": "<user id>",
"resubscribe": true   __optional, if the user is to be charged as a new one__

Post -Antwortfelder:

 "token": "<token for the given end-user>",
"ExpiresAt": "when the token expires",
"is_expired": <bool>  __if the token expires, either time-based or resources consumed__
"exists": <bool> __if the token is charged now or have already been charged earlier__

Zahlungen leisten

Wir werden bald Streifenzahlungen akzeptieren. Wir sind offen, um andere Alternativen zu besprechen.

FAQ

1.Welche Flexatar steht für?

• Flexatar ist unser Format des 3D -Modells des menschlichen Gesichts , das in Echtzeit mit WebGL online im Browser animieren kann.

2. Kann ich von mir einen Flexatar machen?

• Sicher. Senden Sie einfach ein Foto an unseren Telegrammbot

3. Ist es 3D?

• Ja! Wir können Flexatar als herkömmliche .obj -Datei mit 3D -Modell und Texturen exportieren. Wenn Sie ein Spieleentwickler sind und entweder ein benutzerdefiniertes 3D oder ein morphables Modell benötigen, können Sie uns gerne kontaktieren

4.Was ist unter der Motorhaube?

• Unsere interne Mathematik läuft auf Backend, um Flexatare zu berechnen und zu speichern
• Das Rendering wird in JS mit WebGL durchgeführt

5. Wie viel Zeit dauert es, um einen Flexatar zu erstellen?

• Es dauert ein paar Sekunden, bis Flexatar bei GPU mit dem Foto berechnet wird, und einige weitere Sekunden, um die Liefern/Warteschlangen usw. zu liefern

6. IS die Technologie skalierbar?

• Ja. Das Backend läuft auf AWS und soll sowohl in Bezug auf die Erstellung von Flexatar als auch die Verwendung extrem skalierbar sein

7. Mobile SDK?

• Geplant

8.Anwende Einschränkungen?

• Alle Flexatare müssen ausschließlich auf unseren Ressourcen gespeichert werden. Es ist verboten, Flexatare zu speichern oder zu cache
• Flexatars gehören sowohl der Person, der das Bild gehören, als auch zu uns, die es geschaffen haben und ohne gegenseitige Einverständnis von keiner Seite verwendet werden können
• Wir werden für die kommerzielle Nutzung unserer Technologie berechnen
• Die Lizenz ist bald veröffentlicht