TeleVision

Open-Television: Teleoperasi dengan

Umpan balik visual aktif yang mendalam

Xuxin Cheng* · Jialong Li* · Shiqi Yang
Ge yang · xiaolong wang

Corl 2024

Situs web | arxiv | Video | Ringkasan

Perkenalan

Kode ini berisi implementasi untuk pembelajaran teleoperasi dan imitasi dari televisi terbuka.

Instalasi

    conda create -n tv python=3.8
    conda activate tv
    pip install -r requirements.txt
    cd act/detr && pip install -e .

Instal Zed SDK: https://www.stereolabs.com/developers/release/

Instal Zed Python API:

    cd /usr/local/zed/ && python get_python_api.py

Jika Anda ingin mencoba contoh teleoperasi di lingkungan simulasi (teleop_hand.py):

Instal Isaac Gym: https://developer.nvidia.com/ISAAC-GYM/

Panduan Teleoperasi

Streaming lokal

Untuk streaming lokal Quest , ikuti masalah ini.

Apple tidak mengizinkan WebXR pada koneksi non-HTTPS. Untuk menguji aplikasi secara lokal, kita perlu membuat sertifikat yang ditandatangani sendiri dan menginstalnya pada klien. Anda membutuhkan mesin ubuntu dan router. Hubungkan VisionPro dan mesin Ubuntu ke router yang sama.

1. Instal mkcert: https://github.com/filosottile/mkcert
2. Periksa alamat IP lokal:

    ifconfig | grep inet

Misalkan alamat IP lokal dari mesin Ubuntu adalah 192.168.8.102 .

3. Buat Sertifikat:

    mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.8.102 localhost 127.0.0.1

ps. Tempatkan file cert.pem dan key.pem yang dihasilkan di teleop .

4. Buka Firewall di Server

    sudo iptables -A INPUT -p tcp --dport 8012 -j ACCEPT
    sudo iptables-save
    sudo iptables -L

atau dapat dilakukan dengan ufw :

    sudo ufw allow 8012

    tv = OpenTeleVision(self.resolution_cropped, shm.name, image_queue, toggle_streaming, ngrok=False)

6. Instal CA-Sertifikat di VisionPro

    mkcert -CAROOT

Salin rootca.pem melalui AirDrop ke VisionPro dan instal.

Pengaturan> Umum> Tentang> Pengaturan Kepercayaan Sertifikat. Di bawah "Aktifkan kepercayaan penuh untuk sertifikat root", nyalakan kepercayaan untuk sertifikat.

Pengaturan> Aplikasi> Safari> Advanced> Fitur Bendera> Mengaktifkan Fitur Terkait WebXR

7. Buka browser di Safari di VisionPro dan kunjungi https://192.168.8.102:8012?ws=wss://192.168.8.102:8012

8. Klik Enter VR dan Allow untuk memulai sesi VR.

Streaming jaringan

Untuk Meta Quest3, pemasangan sertifikat tidak sepele. Kita perlu menggunakan solusi streaming jaringan. Kami menggunakan ngrok untuk membuat terowongan yang aman ke server. Metode ini akan bekerja untuk VisionPro dan Meta Quest3.

1. Instal Ngrok: https://ngrok.com/download
2. Jalankan Ngrok

    ngrok http 8012

3. Salin alamat HTTPS dan buka browser di Meta Quest3 dan buka alamat.

ps. Saat menggunakan NGROK untuk streaming jaringan, ingatlah untuk menghubungi OpenTeleVision dengan:

    self.tv = OpenTeleVision(self.resolution_cropped, self.shm.name, image_queue, toggle_streaming, ngrok=True)

Contoh teleoperasi simulasi

1. Setelah menyiapkan streaming dengan streaming lokal atau jaringan mengikuti instruksi di atas, Anda dapat mencoba teleoperasi dua tangan robot di gym Issac:

    cd teleop && python teleop_hand.py

2. Buka situs Vuer Anda di VisionPro, klik Enter VR dan Allow untuk memasuki lingkungan yang mendalam.

3. Lihat tangan Anda dalam 3D!

Panduan Pelatihan

1. Unduh dataset dari https://drive.google.com/drive/folders/11wo96mumjmxro9hpvm4adz7thuuugnemy?usp=sharing.

2. Tempatkan dataset yang diunduh dalam data/recordings/ .

3. Proses dataset yang ditentukan untuk pelatihan menggunakan scripts/post_process.py .

4. Anda dapat memverifikasi urutan gambar dan tindakan dari episode tertentu dalam dataset menggunakan scripts/replay_demo.py .

5. Untuk melatih tindakan, lari:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt

6. Setelah pelatihan, simpan JIT untuk pos pemeriksaan yang diinginkan:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt
                               --save_jit --resume_ckpt 25000

7. Anda dapat memvisualisasikan kebijakan terlatih dengan input dari dataset menggunakan scripts/deploy_sim.py , contoh penggunaan:

    python deploy_sim.py --taskid 00 --exptid 01 --resume_ckpt 25000

Kutipan

 @article{cheng2024tv,
title={Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author={Cheng, Xuxin and Li, Jialong and Yang, Shiqi and Yang, Ge and Wang, Xiaolong},
journal={arXiv preprint arXiv:2407.01512},
year={2024}
}