ubiq genie

Добро пожаловать в Ubiq-Genie

Ubiq-Genie-это структура, которая позволяет создавать приложения для совместной реалити-реальности с помощью сервера с Unity с использованием Framework UBIQ. Это особенно полезно для создания многопользовательских приложений, которые требуют обработки на стороне сервера, таких как генеративные модели, разговорные агенты и транскрипция в реальном времени. Для получения дополнительной информации, пожалуйста, обратитесь к газете Ubiq-Genie.

Примечание

Прежде чем начинать с Ubiq-Genie, мы рекомендуем вам ознакомиться с рамки UBIQ. Для получения дополнительной информации см. Документацию и веб -сайт UBIQ. UBIQ-Genie в настоящее время использует UBIQ V1.0.0-PRE7.

Начальная настройка

Эти инструкции дадут вам копию проекта и запущены для запуска образцов и для начала создания собственных приложений. Ubiq-Genie поддерживает Windows, MacOS и Linux. Ubiq-Genie имеет архитектуру сервера-клиента, что означает, что вам может потребоваться запустить сервер на отдельной машине от клиента Unity.

Сервер (node.js)

0. Установите node.js (v20 или более поздний цвет) и Python (v3.10 или более поздней).

1. Клонировать этот репозиторий где -то на вашей машине (локальный или удаленный).

2. Откройте терминал в папке Node и запустите npm install для установки зависимостей.

3. Установите зависимости Python, перейдя в папку Node/services и запускаю pip install -r requirements.txt . Если вы используете виртуальную среду, активируйте ее перед запуском команды. Пожалуйста, убедитесь, что у вас установлены правильные версии Pytorch и CUDA (см. На сайте Pytorch для получения дополнительной информации).

Клиент (единство)

1. Установите Unity 2022.3.32f1 или позже.

2. Клонировать это хранилище где -нибудь на местной машине.

3. Добавьте папку Unity в Unity Hub и откройте проект в Unity.

4. Перейдите к менеджеру пакетов, нажмите на пакет UBIQ (com.ucl.ubiq), перейдите на вкладку «Образцы» и импортируйте образец «Демо (XRI)». Это добавит в проект пакет инструментов для взаимодействия Unity XR, а также некоторые сценарии, используемые приложениями приложений UBIQ-Genie.

Примечание

Прочитайте файл readme в соответствующей папке в папке Node/apps для дальнейшей настройки. Список доступных образцов см. В разделе «Образцы» ниже.

Документация

Для получения дополнительной информации о том, как использовать Ubiq-Genie, пожалуйста, обратитесь к файлам readme в папке Node .

Образцы

Папка Node/apps содержит ряд образцов, которые демонстрируют, как использовать Ubiq-Genie, в которых каждый использует одну или несколько сервисов, определенных в папке Node/services . Для получения дополнительной информации о том, как использовать эти образцы, пожалуйста, обратитесь к файлам readme в соответствующих папках. В настоящее время доступны следующие совместные приложения для образцов:

• Генерация текстур : генерирует текстуру на основе ввода на основе голоса и необязательного лучей для выбора целевых объектов
• Многопользовательский разговорной агент : разговорной агент, с которым можно взаимодействовать с несколькими пользователями
• Транскрипция : транскрибции и аудио каждого пользователя в комнате в отдельных файлах

Для демонстрации образцов, пожалуйста, обратитесь к демонстрационному видео Ubiq-Genie.

Поддерживать

Для любых вопросов, пожалуйста, используйте вкладку «Обсуждения» на GitHub или отправьте сообщение в канале UBIQ-Genie на сервере UBIQ Discord. Для отчетов об ошибках, пожалуйста, используйте вкладку «Проблемы» на GitHub.