ubiq genie

Bem-vindo ao Ubiq-Genie

O UBIQ-Genie é uma estrutura que permite criar aplicativos de realidade mista colaborativa assistida por servidor com unidade usando a estrutura do UBIQ. Isso é particularmente útil para a criação de aplicativos multiusuário que requerem processamento do lado do servidor, como modelos generativos, agentes de conversação e transcrição em tempo real. Para mais informações, consulte o artigo Ubiq-Genie.

Observação

Antes de começar com o UBIQ-Genie, recomendamos que você se familiarize com a estrutura do UBIQ. Para mais informações, consulte a documentação e o site da UBIQ. Atualmente, o UBIQ-Genie usa o UBIQ v1.0.0-PRE7.

Configuração inicial

Essas instruções receberão uma cópia do projeto em funcionamento para executar as amostras e começar a criar seus próprios aplicativos. O UBIQ-Genie suporta Windows, MacOS e Linux. O UBIQ-Genie possui uma arquitetura servidor-cliente, o que significa que você pode precisar executar o servidor em uma máquina separada do cliente da Unity.

Servidor (node.js)

0. Instale o Node.js (V20 ou posterior) e Python (v3.10 ou posterior).

1. Clone este repositório em algum lugar da sua máquina (local ou remoto).

2. Abra um terminal na pasta Node e execute npm install para instalar as dependências.

3. Instale as dependências do Python navegando na pasta Node/services e executando pip install -r requirements.txt . Se você estiver usando um ambiente virtual, ativá -lo antes de executar o comando. Certifique -se de ter as versões corretas Pytorch e CUDA instaladas (consulte o site da Pytorch para obter mais informações).

Cliente (unidade)

1. Instale o Unity 2022.3.32F1 ou posterior.

2. Clone este repositório em algum lugar da sua máquina local.

3. Adicione a pasta Unity ao Hub Unity e abra o projeto em unidade.

4. Navegue até o gerenciador de pacotes, clique no pacote ubiq (com.ucl.ubiq), navegue até a guia "Amostras" e importe a amostra "Demo (XRI)". Isso adicionará o pacote do Unity XR Interação Toolkit ao projeto, bem como alguns scripts usados ​​pelos aplicativos de amostra do UBIQ-Genie.

Observação

Leia o arquivo ReadMe na pasta correspondente na pasta Node/apps para obter instruções de configuração adicionais. Para uma lista de amostras disponíveis, consulte a seção Amostras abaixo.

Documentação

Para obter mais informações sobre como usar o UBIQ-Genie, consulte os arquivos README na pasta Node .

Amostras

A pasta Node/apps contém uma série de amostras que demonstram como usar o UBIQ-Genie, que utiliza um ou mais serviços definidos na pasta Node/services . Para obter mais informações sobre como usar essas amostras, consulte os arquivos README nas pastas correspondentes. Atualmente, estão disponíveis os seguintes aplicativos de amostra colaborativa:

• Geração de textura : gera uma textura com base em entrada baseada em voz e um raio opcional para selecionar objetos de destino
• Agente de conversação multi-usuário : um agente de conversação que pode ser interagido por vários usuários
• Transcrição : Transcrição e áudio de cada usuário na sala em arquivos separados

Para um vídeo de demonstração das amostras, consulte o vídeo da demonstração do UBIQ-Genie.

Apoiar

Para qualquer dúvida, use a guia Discussões no Github ou envie uma mensagem no canal UBIQ-Genie no servidor UBIQ Discord. Para relatórios de bug, use a guia Problemas no Github.