ubiq genie

Willkommen bei Ubiq-Genie

UBIQ-Genie ist ein Framework, mit dem Sie serverunterstützte kollaborative gemischte Reality-Anwendungen mit Einheit mithilfe des UBIQ-Frameworks erstellen können. Dies ist besonders nützlich, um Multi-User-Anwendungen zu erstellen, bei denen die serverseitige Verarbeitung wie generative Modelle, Konversationsmittel und Echtzeit-Transkription erforderlich ist. Weitere Informationen finden Sie im UBIQ-Genie-Papier.

Notiz

Bevor wir mit Ubiq-Genie beginnen, empfehlen wir Ihnen, sich mit dem UBIQ-Framework vertraut zu machen. Weitere Informationen finden Sie in der Dokumentation und Website von UBIQ. UBIQ-Genie verwendet derzeit UBIQ v1.0.0-PRE7.

Erstes Setup

Mit diesen Anweisungen erhalten Sie eine Kopie des Projekts, um die Beispiele auszuführen und Ihre eigenen Anwendungen zu erstellen. Ubiq-Genie unterstützt Windows, MacOS und Linux. UBIQ-Genie verfügt über eine server-Klientarchitektur. Dies bedeutet, dass Sie den Server möglicherweise auf einer separaten Maschine vom Unity-Client ausführen müssen.

Server (node.js)

0. Installieren Sie node.js (v20 oder höher) und python (v3.10 oder höher).

1. Klonen Sie dieses Repository irgendwo auf Ihrem Computer (entweder lokal oder fern).

2. Öffnen Sie ein Terminal im Node und führen Sie npm install aus, um die Abhängigkeiten zu installieren.

3. Installieren Sie die Python -Abhängigkeiten, indem Sie zum Node/services -Ordner navigieren und pip install -r requirements.txt ausführen. Wenn Sie eine virtuelle Umgebung verwenden, aktivieren Sie sie, bevor Sie den Befehl ausführen. Bitte stellen Sie sicher, dass Sie über die richtigen Pytorch- und CUDA -Versionen installiert sind (finden Sie auf der Pytorch -Website für weitere Informationen).

Kunde (Einheit)

1. Installieren Sie die Einheit 2022.3.32f1 oder höher.

2. Klonen Sie dieses Repository irgendwo auf Ihrer lokalen Maschine.

3. Fügen Sie den Unity -Ordner zu Unity Hub hinzu und öffnen Sie das Projekt in Einheit.

4. Navigieren Sie zum Paket -Manager, klicken Sie auf das UBIQ -Paket (com.ucl.ubiq), navigieren Sie zur Registerkarte "Samples" und importieren Sie das Beispiel "Demo (XRI)". Dadurch wird das Projekt Unity XR Interaction Toolkit zum Projekt sowie einige Skripte, die von den Musteranwendungen der UBIQ-Genie verwendet werden, hinzugefügt.

Notiz

Lesen Sie die Readme -Datei im entsprechenden Ordner im Ordner Node/apps für weitere Einrichtungsanweisungen. Eine Liste der verfügbaren Muster finden Sie im Abschnitt Proben unten.

Dokumentation

Weitere Informationen zur Verwendung von UBIQ-Genie finden Sie in den ReadMe-Dateien im Ordner Node .

Proben

Der Node/apps Ordner enthält eine Reihe von Proben, die zeigen, wie man UBIQ-Genie verwendet, die jeweils einen oder mehrere Dienste verwenden, die im Ordner Node/services definiert sind. Weitere Informationen zur Verwendung dieser Beispiele finden Sie in den ReadMe -Dateien in den entsprechenden Ordnern. Derzeit sind die folgenden kollaborativen Beispielanwendungen verfügbar:

• Texturgenerierung : Generiert eine Textur basierend auf sprachbasierten Eingaben und einem optionalen Strahl, um Zielobjekte auszuwählen
• Multi-User Conversational Agent : Ein Konversationsagent, mit dem mehrere Benutzer interagiert werden können
• Transkription : Transkribiert und Audio jedes Benutzers im Raum in separaten Dateien

Für ein Demo-Video der Beispiele finden Sie im Demo-Video der Ubiq-Genie.

Unterstützung

Für Fragen verwenden Sie bitte die Registerkarte Diskussionen auf GitHub oder senden Sie eine Nachricht im UBIQ-Genie -Kanal im UBIQ Discord Server. Für Fehlerberichte verwenden Sie bitte die Registerkarte "Probleme" auf GitHub.