flexatar virtual webcam

Webcam virtual do Flexatar

Webcam virtual flexater é a tecnologia que

1. Cria um modelo 3D (chamado Flexatar ) a partir de apenas uma foto em alguns segundos.
2. Animate o áudio com o Flexatar no navegador (no dispositivo, o Inc Mobile) em tempo real em tempo real

Nossa tecnologia é intencionalmente projetada para o WebRTC !

Demonstração

Para começar, dê uma olhada em nossa demonstração de animar o Flexatar com o rádio da web no seu navegador.

Você pode encontrar os exemplos preliminares aqui

Cenários

Cenário 1: webcam virtual webrtc?

A principal vantagem da técnica Flexatar é que ela pode ser usada para animar a faixa de áudio do usuário do microfone, atuando como uma webcam virtual para o WebRTC .

Estamos planejando cometer exemplos de integração para liderar o WebRTC SFUs como Janus, LiveKit etc. Sinta -se à vontade para oferecer candidatos.

O procedimento é o seguinte:

1. getUsermedia () apenas com áudio
2. O áudio é entregue ao Flexatarsdk
3. Flexatarsdk fornece faixas de áudio e vídeo , garantindo que o LipSyncing

  navigator.mediaDevices
    .getUserMedia({audio: true,})
    .then((stream) => {
        flexatarSDK.audioInputByMediaStrem(stream)
    })

Estamos planejando compartilhar o exemplo de interface Pion em breve

Cenário 2: Animação de áudio para usuário

Estamos direcionando aplicativos óbvios, como assistentes virtuais, bots etc. A demonstração oferece uma idéia de como funciona.

Tudo que você precisa é

• Init Flexataranimator com token e link para o Flexatar
• fornecer áudio
• Conecte a saída a um elemento de vídeo

 videoElement.srcObject = ftar.FlexatarSDK.mediaStreamFactory(
    "<token>",
    "<flexatar link from telegram bot>",
    mediaStream, // media stream with audio track
    (success) => {
        if (success){
            // Do your awesome stuff ...
        }else{
            console.log("Flexatar media stream is unavailable")
        }
    }
)

No contexto do cenário mencionado, estamos trabalhando na integração com

• várias estruturas de front -end
• Serviços populares de texto em fala (TTS)

Fique atento!

Cenário 3: Fazendo imagens estáticas "Magic"?

Como nos filmes mágicos: uma foto começa a se mover. Do ponto de vista técnico: não há necessidade de buscar recursos de áudio e animar como acima, o padrão de animação é suficiente.

Usando o Flexatar SDK em seu site

B2B Callflow

Estamos fornecendo FlexatarsDK como B2B para nossos parceiros.

Por padrão, nossos serviços são fornecidos como pré -pagos. Após o dinheiro pago, estamos compartilhando um segredo .

Para ativar nosso SDK Flexatar para seus clientes, você precisa receber token do nosso back -end e fornecê -lo ao seu cliente.

Quando um usuário exige um serviço do nosso parceiro (1), um parceiro precisa fazer solicitação de postagem (2) para o nosso back -end, com segredos no cabeçalho do portador e no JSON no órgão de solicitação. O JSON contém dados e tarifas do usuário ("assinatura") a serem usados.

A resposta (3) contém JSON com token que deve ser fornecido ao usuário, juntamente com uma página da Web e SDK Flexatar (4).

Quando o SDK precisa criar ou baixar o Flexatar (5) para o usuário, o token está envolvido.

Parâmetros de postagem B2B

Cabeçalhos de solicitação:

 "Content-Type: application/json" 
"Authorization: Bearer <Secret>"

POST PEDIDO JSON FIELDS:

 "subscription": "<the tariff to be used>",
"authtype": "<the way how the end-user was authenticated, like gmail.com>",
"user": "<user id>",
"resubscribe": true   __optional, if the user is to be charged as a new one__

Post Response Cields:

 "token": "<token for the given end-user>",
"ExpiresAt": "when the token expires",
"is_expired": <bool>  __if the token expires, either time-based or resources consumed__
"exists": <bool> __if the token is charged now or have already been charged earlier__

Fazendo pagamentos

Aceitaremos os pagamentos de faixas em breve. Estamos abertos para discutir outras alternativas.

Perguntas frequentes

1. O que Flexatar significa?

• O Flexatar é o nosso formato de armazenar o modelo 3D de rosto humano , capaz de animar on -line no navegador em tempo real usando o WebGL .

2. Posso fazer um flexatar por conta própria?

• Claro. Basta enviar uma foto para o nosso Bot Telegram

3. É 3D?

• Sim! Podemos exportar o Flexatar como um arquivo .OBJ convencional com modelo 3D e texturas. Se você é desenvolvedor de jogos e precisa de um modelo 3D personalizado ou morfável, não hesite em entrar em contato conosco

4. O que está sob o capô?

• Nossa matemática interna é executada no back-end para calcular e armazenar Flexatars
• A renderização é realizada em js com webgl

5. Quanto tempo é preciso para criar um Flexatar ?

• Leva alguns segundos para calcular o Flexatar na GPU por foto, e mais alguns segundos para entregar/fila etc. Fazer flexatar de alta qualidade com boca personalizada leva cerca de 10 segundos

6. É a tecnologia escalável?

• Sim. O back -end é executado na AWS e pretende ser extremamente escalável, tanto em termos de criação e uso do Flexatar

7. Mobile SDK?

• Agendado

8. Qualquer restrições?

• Todos os flexatos devem ser armazenados em nossos recursos exclusivamente. É proibido armazenar ou cache flexitars
• Flexatars pertencem à pessoa que possui a imagem e a nós que a criaram e não podem ser usados por nenhum lado sem concordância mútua
• Cobraremos pelo uso comercial de nossa tecnologia
• A licença deve ser publicada em breve