ubiq genie

Ubiq-Genieへようこそ

UBIQ-Genieは、UBIQフレームワークを使用してUNITYを使用して、サーバーアシストのコラボレーション混合現実アプリケーションを構築できるフレームワークです。これは、生成モデル、会話エージェント、リアルタイム転写などのサーバー側の処理を必要とするマルチユーザーアプリケーションを構築するのに特に役立ちます。詳細については、UBIQ-Genie Paperを参照してください。

注記

UBIQ-Genieから始める前に、UBIQフレームワークに慣れることをお勧めします。詳細については、UBIQのドキュメントとWebサイトを参照してください。 UBIQ-Genieは現在、UBIQ V1.0.0-PRE7を使用しています。

初期セットアップ

これらの指示により、サンプルを実行し、独自のアプリケーションの構築を開始するために、プロジェクトのコピーを稼働させます。 Ubiq-Genieは、Windows、MacOS、Linuxをサポートしています。 UBIQ-Genieにはサーバークライアントアーキテクチャがあります。つまり、Unityクライアントから別のマシンでサーバーを実行する必要がある場合があります。

サーバー（node.js）

0. node.js（v20以降）とpython（v3.10以降）をインストールします。

1. このリポジトリは、マシンのどこか（ローカルまたはリモート）のどこかにクローンします。

2. Nodeフォルダーで端子を開き、 npm installを実行して依存関係をインストールします。

3. Node/servicesフォルダーに移動し、 pip install -r requirements.txtを実行して、Python依存関係をインストールします。txt。仮想環境を使用している場合は、コマンドを実行する前にアクティブにします。正しいPytorchおよびCudaバージョンがインストールされていることを確認してください（詳細については、Pytorch Webサイトを参照してください）。

クライアント（unity）

1. Unity 2022.3.32F1以降をインストールします。

2. このリポジトリは、ローカルマシンのどこかにクローンを付けます。

3. UnityフォルダーをUnity Hubに追加し、Unityでプロジェクトを開きます。

4. パッケージマネージャーに移動し、UBIQパッケージ（com.ucl.ubiq）をクリックし、「サンプル」タブに移動し、「デモ（xri）」サンプルをインポートします。これにより、UNITY XR Interaction Toolkitパッケージがプロジェクトに追加され、UBIQ-Genieサンプルアプリケーションで使用されているスクリプトが追加されます。

注記

Node/appsフォルダーの対応するフォルダーのREADMEファイルを読み取り、さらにセットアップする手順を確認してください。利用可能なサンプルのリストについては、以下のサンプルセクションを参照してください。

ドキュメント

UBIQ-Genieの使用方法の詳細については、 NodeフォルダーのREADMEファイルを参照してください。

サンプル

Node/appsフォルダーには、それぞれがNode/servicesフォルダーで定義されている1つ以上のサービスを使用するUBIQ-Genieの使用方法を示す多数のサンプルが含まれています。これらのサンプルの使用方法の詳細については、対応するフォルダーのREADMEファイルを参照してください。現在、次の共同サンプルアプリケーションが利用可能です。

• テクスチャ生成：音声ベースの入力に基づいてテクスチャを生成し、ターゲットオブジェクトを選択するオプションの光線を生成します
• マルチユーザー会話エージェント：複数のユーザーが対話できる会話エージェント
• 転写：別のファイルで部屋内の各ユーザーの転写と音声

サンプルのデモビデオについては、UBIQ-Genieデモビデオを参照してください。

サポート

ご質問については、GitHubのディスカッションタブを使用するか、UBIQ DiscordサーバーのUBIQ-Genieチャンネルにメッセージを送信してください。バグレポートについては、githubの[問題]タブを使用してください。