yoha

ヨハ

実用的なハンドトラッキングエンジン。

注：Yohaは現在容認されていません。

クイックリンク：

• デモ（コード）
• ドキュメント
• Webサイト
• npm

インストール

npm install @handtracking.io/yoha

ご注意ください：

• ライブラリはここからモデルファイルをダウンロードする必要があるため、 node_modules/@handtracking.io/yoha yohaからファイルを提供する必要があります。 （Webpackの例）
• ウェブカメラアクセス用のHTTPSを使用してページを提供する必要があります。 （Webpackの例）
• 特定のシナリオでエンジンのパフォーマンスを向上させるため、クロスオリジン分離を使用する必要があります。 （Webpackの例）

説明

Yohaは、アプリケーションに価値を加えるために手で追跡されている実際のシナリオで、多目的なソリューションであることを目標に構築されたハンドトラッキングエンジンです。最終的に目標は、ハンドポーズをサポートする汎用ハンドトラッキングエンジンになることですが、エンジンはユーザー/開発者が有用であると感じる特定のハンドポーズを中心に進化します。これらのポーズは、意味のある相互作用でアプリケーションを構築できるエンジンによって検出されます。例については、デモを参照してください。

ヨハは現在ベータ版です。

名前について：yohaは（「 yo ur ha nd tracking」）の略です。

言語サポート

Yohaは現在、JavaScriptを介してWebで利用できます。将来、より多くの言語が追加されます。 yohaを別の言語に移植し、助けが必要な場合は、お気軽に手を差し伸べてください。

技術的な詳細

ヨハはゼロから作られました。カスタムデータセットを使用してトレーニングされたカスタムニューラルネットワークを使用します。ブラウザの推論のバックボーンは現在tensorflow.jsです

特徴：

• 21 2d-Landmark座標の検出（片手）。
• ハンドプレゼンスの検出。
• ハンドオリエンテーション（左/右手）検出。
• 組み込みポーズ検出。

サポートされているハンドポーズ：

• ピンチ（人差し指と親指のタッチ）
• 拳

あなたの希望のポーズはこのリストに載っていませんか？お気軽に問題を作成してください。

パフォーマンス

ヨハはパフォーマンスを念頭に置いて構築されました。幅広いラップトップとデスクトップデバイスでリアルタイムユーザーエクスペリエンスを提供できます。モバイルデバイスのパフォーマンスは、Tensorflow.jsのような推論フレームワークをさらに開発することで、希望が変化することはあまりありません

ネイティブの推論速度は、Webの推論速度と比較できないことに注意してください。別の言い方をすれば、あなたがネイティブにyohaを実行する場合、それはWebブラウザーを介してはるかに高速になります。

最小限の例

• ソース
• ローカルで実行：

 git clone https://github.com/handtracking-io/yoha && 
cd yoha/example && 
yarn && 
yarn start

描画デモ

• ライブバージョン
• ソース
• ローカルで実行：

 git clone https://github.com/handtracking-io/yoha && 
cd yoha && 
./download_models.sh && 
yarn && 
yarn start