ubiq genie

Bienvenue à Ubiq-Genie

UBIQ-Genie est un cadre qui vous permet de créer des applications de réalité mixte collaborative assistée par le serveur avec Unity en utilisant le cadre UBIQ. Ceci est particulièrement utile pour créer des applications multi-utilisateurs qui nécessitent un traitement côté serveur telles que les modèles génératifs, les agents conversationnels et la transcription en temps réel. Pour plus d'informations, veuillez vous référer au papier UBIQ-Genie.

Note

Avant de commencer par Ubiq-Genie, nous vous recommandons de vous familiariser avec le cadre UBIQ. Pour plus d'informations, consultez la documentation et le site Web d'UBIQ. UBIQ-Genie utilise actuellement UBIQ V1.0.0-PRE7.

Configuration initiale

Ces instructions vous permettra d'une copie du projet en cours d'exécution pour exécuter les échantillons et commencer à construire vos propres applications. Ubiq-Genie prend en charge Windows, MacOS et Linux. Ubiq-Genie a une architecture de serveur-client, ce qui signifie que vous devrez peut-être exécuter le serveur sur une machine séparée du client Unity.

Serveur (node.js)

0. Installez Node.js (v20 ou version ultérieure) et Python (v3.10 ou version ultérieure).

1. Clone ce référentiel quelque part sur votre machine (local ou distant).

2. Ouvrez un terminal dans le dossier Node et exécutez npm install pour installer les dépendances.

3. Installez les dépendances Python en naviguant dans le dossier Node/services et en exécutant pip install -r requirements.txt . Si vous utilisez un environnement virtuel, activez-le avant d'exécuter la commande. Veuillez vous assurer que les versions Pytorch et CUDA sont installées (voir le site Web de Pytorch pour plus d'informations).

Client (Unity)

1. Installez Unity 2022.3.32f1 ou version ultérieure.

2. Clone ce référentiel quelque part sur votre machine locale.

3. Ajoutez le dossier Unity à Unity Hub et ouvrez le projet dans Unity.

4. Accédez à Package Manager, cliquez sur le package UBIQ (com.ucl.ubiq), accédez à l'onglet "Samples" et importez l'échantillon "Demo (xri)". Cela ajoutera le package Unity XR Interaction Toolkit au projet, ainsi que certains scripts utilisés par les applications d'échantillons UBIQ-Genie.

Note

Lisez le fichier ReadMe dans le dossier correspondant dans le dossier Node/apps pour d'autres instructions de configuration. Pour une liste des échantillons disponibles, consultez la section des échantillons ci-dessous.

Documentation

Pour plus d'informations sur la façon d'utiliser UBIQ-Genie, veuillez vous référer aux fichiers ReadMe dans le dossier Node .

Échantillons

Le dossier Node/apps contient un certain nombre d'échantillons qui montrent comment utiliser UBIQ-Genie, qui utilisent chacun un ou plusieurs services définis dans le dossier Node/services . Pour plus d'informations sur la façon d'utiliser ces échantillons, veuillez vous référer aux fichiers ReadMe dans les dossiers correspondants. Actuellement, les échantillons collaboratifs suivants sont disponibles:

• Génération de texture : génère une texture basée sur une entrée vocale et un rayon facultatif pour sélectionner les objets cibles
• Agent conversationnel multi-utilisateurs : un agent conversationnel qui peut être interagi par plusieurs utilisateurs
• Transcription : transcrit et audio de chaque utilisateur dans la salle dans des fichiers séparés

Pour une vidéo de démonstration des échantillons, veuillez vous référer à la vidéo de démonstration Ubiq-Genie.

Soutien

Pour toute question, veuillez utiliser l'onglet Discussions sur GitHub ou envoyer un message dans la chaîne UBIQ-Genie dans le serveur UBIQ Discord. Pour les rapports de bogues, veuillez utiliser l'onglet Problèmes sur GitHub.