yoha

Yoha

Un moteur de suivi des mains.

Remarque: Yoha n'est actuellement pas entretenu.

Liens rapides:

• Démo (code)
• Docs
• Site web
• NPM

Installation

npm install @handtracking.io/yoha

Veuillez noter:

• Vous devez servir les fichiers à partir de node_modules/@handtracking.io/yoha puisque la bibliothèque doit télécharger les fichiers du modèle à partir d'ici. (Exemple WebPack)
• Vous devez servir votre page avec HTTPS pour l'accès à la webcam. (Exemple WebPack)
• Vous devez utiliser l'isolement d'origine croisée car il améliore les performances du moteur dans certains scénarios. (Exemple WebPack)

Description

Yoha est un moteur de suivi des mains qui est construit dans le but d'être une solution polyvalente dans des scénarios pratiques où le suivi des mains est utilisé pour ajouter de la valeur à une application. Bien qu'en fin de compte, l'objectif est d'être un moteur de suivi de la main à usage général prenant en charge toute pose de main, le moteur évolue autour de poses de main spécifiques que les utilisateurs / développeurs trouvent utiles. Ces poses sont détectées par le moteur qui permet de créer des applications avec des interactions significatives. Voir la démo pour un exemple.

Yoha est actuellement en version bêta.

À propos du nom: Yoha est court pour (" Yo ur ha nd suivi").

Soutien aux langues

Yoha est actuellement disponible pour le Web via JavaScript. Plus de langues seront ajoutées à l'avenir. Si vous voulez porter Yoha dans une autre langue et que vous avez besoin d'aide, vous sentez librement.

Détails techniques

Yoha a été construit à partir de zéro. Il utilise un réseau de neurones personnalisé formé à l'aide d'un ensemble de données personnalisé. L'épine dorsale de l'inférence dans le navigateur est actuellement Tensorflow.js

Caractéristiques:

• Détection de 21 coordonnées 2D-Landmark (main unique).
• Détection de la présence de la main.
• Détection d'orientation de la main (gauche / droite).
• Détection de pose intégrée.

Poses de main prise en charge:

• Pince (index et touche du pouce)
• Poing

Votre pose souhaitée n'est pas sur cette liste? N'hésitez pas à créer un problème pour cela.

Performance

Yoha a été construit avec des performances à l'esprit. Il est en mesure de fournir une expérience utilisateur en temps réel sur un large éventail d'ordinateurs portables et d'appareils de bureau. Les performances sur les appareils mobiles ne sont pas formidables, ce qui va changer avec le développement ultérieur de cadres d'inférence comme Tensorflow.js

Veuillez noter que la vitesse d'inférence native ne peut pas être comparée à la vitesse d'inférence Web. Autrement dit, si vous exécutez yoha nativement, ce serait beaucoup plus rapide que via le navigateur Web.

Exemple minimal

• Source
• Courir localement:

 git clone https://github.com/handtracking-io/yoha && 
cd yoha/example && 
yarn && 
yarn start

Démo de dessin

• Version en direct
• Source
• Courir localement:

 git clone https://github.com/handtracking-io/yoha && 
cd yoha && 
./download_models.sh && 
yarn && 
yarn start