ubiq genie

Selamat datang di Ubiq-Genie

UBIQ-Genie adalah kerangka kerja yang memungkinkan Anda membangun aplikasi realitas campuran kolaboratif yang dibantu server dengan Unity menggunakan kerangka kerja UBIQ. Ini sangat berguna untuk membangun aplikasi multi-pengguna yang memerlukan pemrosesan sisi server seperti model generatif, agen percakapan, dan transkripsi real-time. Untuk informasi lebih lanjut, silakan merujuk ke makalah UBIQ-Genie.

Catatan

Sebelum memulai dengan Ubiq-Genie, kami sarankan Anda membiasakan diri dengan kerangka kerja UBIQ. Untuk informasi lebih lanjut, lihat dokumentasi dan situs web UBIQ. UBIQ-Genie saat ini menggunakan UBIQ V1.0.0-Pre7.

Pengaturan Awal

Instruksi ini akan memberi Anda salinan proyek dan berjalan untuk menjalankan sampel dan mulai membangun aplikasi Anda sendiri. Ubiq-Genie mendukung Windows, MacOS, dan Linux. UBIQ-Genie memiliki arsitektur server-klien, yang berarti Anda mungkin perlu menjalankan server pada mesin terpisah dari klien Unity.

Server (node.js)

0. Instal Node.js (V20 atau lebih baru) dan Python (v3.10 atau lebih baru).

1. Kloning repositori ini di suatu tempat di mesin Anda (baik lokal atau remote).

2. Buka terminal di folder Node dan jalankan npm install untuk menginstal dependensi.

3. Instal dependensi Python dengan menavigasi ke folder Node/services dan menjalankan pip install -r requirements.txt . Jika Anda menggunakan lingkungan virtual, aktifkan sebelum menjalankan perintah. Harap pastikan bahwa Anda memiliki versi Pytorch dan CUDA yang benar yang diinstal (lihat situs web Pytorch untuk informasi lebih lanjut).

Klien (persatuan)

1. Instal Unity 2022.3.32f1 atau lebih baru.

2. Kloning repositori ini di suatu tempat di mesin lokal Anda.

3. Tambahkan folder Unity ke Unity Hub dan buka proyek di Unity.

4. Arahkan ke Manajer Paket, klik paket UBIQ (com.ucl.ubiq), arahkan ke tab "Sampel", dan impor sampel "Demo (XRI)". Ini akan menambahkan paket Unity XR Interaction Toolkit ke proyek, serta beberapa skrip yang digunakan oleh aplikasi sampel UBIQ-Genie.

Catatan

Baca file ReadMe di folder yang sesuai di folder Node/apps untuk instruksi pengaturan lebih lanjut. Untuk daftar sampel yang tersedia, lihat bagian sampel di bawah ini.

Dokumentasi

Untuk informasi lebih lanjut tentang cara menggunakan UBIQ-Genie, silakan merujuk ke file ReadMe di folder Node .

Sampel

Folder Node/apps berisi sejumlah sampel yang menunjukkan cara menggunakan UBIQ-Genie, yang masing-masing memanfaatkan satu atau lebih layanan yang ditentukan dalam folder Node/services . Untuk informasi lebih lanjut tentang cara menggunakan sampel ini, silakan merujuk ke file ReadMe di folder yang sesuai. Saat ini, aplikasi sampel kolaboratif berikut tersedia:

• Pembuatan Tekstur : Menghasilkan Tekstur Berdasarkan Input Berbasis Suara dan Ray Opsional Untuk Memilih Objek Target
• Agen percakapan multi-pengguna : agen percakapan yang dapat berinteraksi dengan banyak pengguna
• Transkripsi : Transkrip dan audio dari setiap pengguna di ruangan dalam file terpisah

Untuk video demo sampel, silakan merujuk ke video demo UBIQ-Genie.

Mendukung

Untuk pertanyaan apa pun, silakan gunakan tab Diskusi di GitHub atau kirim pesan di saluran UBIQ-Genie di UBIQ Discord Server. Untuk laporan bug, silakan gunakan tab Masalah di GitHub.