ubiq genie

Bienvenido a Ubiq-Genie

UBIQ-Genie es un marco que le permite construir aplicaciones de realidad mixta colaborativa asistida por servidor con Unity utilizando el marco UBIQ. Esto es particularmente útil para construir aplicaciones de usuarios múltiples que requieren procesamiento del lado del servidor, como modelos generativos, agentes de conversación y transcripción en tiempo real. Para obtener más información, consulte el documento Ubiq-Genie.

Nota

Antes de comenzar con Ubiq-Genie, le recomendamos que se familiarice con el marco UBIQ. Para obtener más información, consulte la documentación y el sitio web de UBIQ. Ubiq-Genie actualmente usa UBIQ V1.0.0-PRE7.

Configuración inicial

Estas instrucciones le darán una copia del proyecto en funcionamiento para ejecutar las muestras y comenzar a construir sus propias aplicaciones. Ubiq-Genie admite Windows, MacOS y Linux. Ubiq-Genie tiene una arquitectura de servidor-cliente, lo que significa que es posible que deba ejecutar el servidor en una máquina separada del cliente Unity.

Servidor (node.js)

0. Instale Node.js (V20 o posterior) y Python (V3.10 o posterior).

1. Clonar este repositorio en algún lugar de su máquina (local o remoto).

2. Abra un terminal en la carpeta Node y ejecute npm install para instalar las dependencias.

3. Instale las dependencias de Python navegando a la carpeta de Node/services y ejecutando pip install -r requirements.txt . Si está utilizando un entorno virtual, activelo antes de ejecutar el comando. Asegúrese de tener las versiones correctas de Pytorch y Cuda instaladas (consulte el sitio web de Pytorch para obtener más información).

Cliente (Unidad)

1. Instale Unity 2022.3.32f1 o posterior.

2. Clone este repositorio en algún lugar de su máquina local.

3. Agregue la carpeta Unity a Unity Hub y abra el proyecto en Unity.

4. Navegue al Administrador de paquetes, haga clic en el paquete UBIQ (com.ucl.ubiq), navegue a la pestaña "Muestras" e importe la muestra "demostración (XRI)". Esto agregará el paquete de kit de herramientas de interacción Unity XR al proyecto, así como algunos scripts utilizados por las aplicaciones de muestra UBIQ-Genie.

Nota

Lea el archivo ReadMe en la carpeta correspondiente en la carpeta Node/apps para obtener más instrucciones de configuración. Para obtener una lista de muestras disponibles, consulte la sección de muestras a continuación.

Documentación

Para obtener más información sobre cómo usar UBIQ-Genie, consulte los archivos ReadMe en la carpeta Node .

Muestras

La carpeta Node/apps contiene una serie de muestras que demuestran cómo usar UBIQ-Genie, que utilizan uno o más servicios definidos en la carpeta de Node/services . Para obtener más información sobre cómo usar estas muestras, consulte los archivos ReadMe en las carpetas correspondientes. Actualmente, las siguientes aplicaciones de muestra de colaboración están disponibles:

• Generación de textura : genera una textura basada en la entrada basada en la voz y un rayo opcional para seleccionar objetos de destino
• Agente de conversación de múltiples usuarios : un agente de conversación que puede ser interactuado por múltiples usuarios
• Transcripción : transcribes y audio de cada usuario en la habitación en archivos separados

Para obtener un video de demostración de las muestras, consulte el video de demostración de Ubiq-Genie.

Apoyo

Para cualquier pregunta, utilice la pestaña Discusiones en GitHub o envíe un mensaje en el canal Ubiq-Genie en el servidor de discordias UBIQ. Para informes de errores, utilice la pestaña Problemas en GitHub.