yoha

Yoha

Um mecanismo prático de rastreamento manual.

NOTA: Yoha está atualmente sem atenção.

Links rápidos:

• Demo (código)
• Documentos
• Site
• npm

Instalação

npm install @handtracking.io/yoha

Observe:

• Você precisa servir os arquivos de node_modules/@handtracking.io/yoha , pois a biblioteca precisa baixar os arquivos do modelo aqui. (Exemplo de Webpack)
• Você precisa servir sua página com HTTPS para acesso à webcam. (Exemplo de Webpack)
• Você deve usar o isolamento de origem cruzada, pois melhora o desempenho do motor em certos cenários. (Exemplo de Webpack)

Descrição

Yoha é um mecanismo de rastreamento manual que é construído com o objetivo de ser uma solução versátil em cenários práticos em que o rastreamento manual é empregado para agregar valor a um aplicativo. Embora, em última análise, o objetivo seja um mecanismo de rastreamento manual de propósito geral que suporta qualquer pose de mão, o motor evolui em torno de poses específicas de mão que os usuários/desenvolvedores consideram úteis. Essas poses são detectadas pelo mecanismo que permite criar aplicativos com interações significativas. Veja a demonstração para um exemplo.

Yoha está atualmente na versão beta.

Sobre o nome: Yoha é curto para (" yo ur ha e rastreamento").

Suporte ao idioma

Yoha está atualmente disponível para a Web via JavaScript. Mais idiomas serão adicionados no futuro. Se você deseja portar Yoha para outro idioma e precisar de ajuda para sinta -se à vontade.

Detalhes técnicos

Yoha foi construído do zero. Ele usa uma rede neural personalizada treinada usando um conjunto de dados personalizado. A espinha dorsal para a inferência no navegador é atualmente tensorflow.js

Características:

• Detecção de 21 coordenadas 2d-Landmark (mão única).
• Detecção de presença da mão.
• Detecção de orientação da mão (mão esquerda/direita).
• Detecção de pose embutida.

Poses de mão suportadas:

• Beliscar (dedo indicador e toque de polegar)
• Punho

Sua pose desejada não está nesta lista? Sinta -se à vontade para criar um problema para isso.

Desempenho

Yoha foi construído com o desempenho em mente. É capaz de fornecer experiência do usuário em tempo real em uma ampla gama de laptops e dispositivos de mesa. O desempenho em dispositivos móveis não é ótimo, o que a esperança mudará com o desenvolvimento de estruturas de inferência como o tensorflow.js

Observe que a velocidade de inferência nativa não pode ser comparada com a velocidade de inferência da Web. Diferentemente, se você executou Yoha nativamente, seria muito mais rápido que o navegador da web.

Exemplo mínimo

• Fonte
• Correndo localmente:

 git clone https://github.com/handtracking-io/yoha && 
cd yoha/example && 
yarn && 
yarn start

Demoção de desenho

• Versão ao vivo
• Fonte
• Correndo localmente:

 git clone https://github.com/handtracking-io/yoha && 
cd yoha && 
./download_models.sh && 
yarn && 
yarn start