TeleVision

Open-Television: Teleoperation mit

Immersives aktives visuelles Feedback

Xuxin cheng* · jialong li* · shiqi yang
Ge yang · xiaolong wang

Corl 2024

Website | Arxiv | Video | Zusammenfassung

Einführung

Dieser Code enthält die Implementierung für Teleoperation und Nachahmung von Open-Television-Lernen.

Installation

    conda create -n tv python=3.8
    conda activate tv
    pip install -r requirements.txt
    cd act/detr && pip install -e .

Installieren Sie ZED SDK: https://www.stereolabs.com/developers/release/

Installieren Sie die API von Zed Python:

    cd /usr/local/zed/ && python get_python_api.py

Wenn Sie ein Teleoperationsbeispiel in einer simulierten Umgebung (teleop_hand.py) ausprobieren möchten:

Installieren Sie ISAAC Gym: https://developer.nvidia.com/isaac-gym/

Teleoperationshandbuch

Lokales Streaming

Befolgen Sie für Quest Local Streaming dieses Problem.

Apple erlaubt nicht WebXR auf Nicht-HTTPS-Verbindungen. Um die Anwendung lokal zu testen, müssen wir ein selbstsigniertes Zertifikat erstellen und auf dem Client installieren. Sie brauchen eine Ubuntu -Maschine und einen Router. Verbinden Sie die VisionPro und die Ubuntu -Maschine mit demselben Router.

1. Installieren Sie MKCERT: https://github.com/filosottile/mkcert
2. Überprüfen Sie die lokale IP -Adresse:

    ifconfig | grep inet

Angenommen, die lokale IP -Adresse der Ubuntu -Maschine beträgt 192.168.8.102 .

3. Zertifikat erstellen:

    mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.8.102 localhost 127.0.0.1

ps. Platzieren Sie die generierten cert.pem und key.pem -Dateien in teleop .

4. Öffnen Sie die Firewall auf dem Server

    sudo iptables -A INPUT -p tcp --dport 8012 -j ACCEPT
    sudo iptables-save
    sudo iptables -L

oder kann mit ufw durchgeführt werden:

    sudo ufw allow 8012

    tv = OpenTeleVision(self.resolution_cropped, shm.name, image_queue, toggle_streaming, ngrok=False)

6. Installieren Sie CA-Zertifikate auf VisionPro

    mkcert -CAROOT

Kopieren Sie den Rootca.pem über Airdrop in VisionPro und installieren Sie es.

Einstellungen> Allgemein> Über> Zertifikatvertrauenseinstellungen. Schalten Sie das Vertrauen für das Zertifikat ein.

Einstellungen> Apps> Safari> Erweiterte> Feature Flags> WebXR -verwandte Funktionen aktivieren

7. Öffnen Sie den Browser auf Safari auf VisionPro und gehen Sie zu https://192.168.8.102:8012?ws=wss://192.168.8.102:8012

8. Klicken Sie Enter VR und Allow die VR -Sitzung starten.

Netzwerk -Streaming

Für Meta Quest3 ist die Installation des Zertifikats nicht trivial. Wir müssen eine Netzwerk -Streaming -Lösung verwenden. Wir verwenden ngrok , um einen sicheren Tunnel zum Server zu erstellen. Diese Methode funktioniert sowohl für VisionPro als auch für Meta Quest3.

1. Installieren Sie NGROK: https://ngrok.com/download
2. Führen Sie Ngrok aus

    ngrok http 8012

3. Kopieren Sie die HTTPS -Adresse und öffnen Sie den Browser auf Meta Quest3 und gehen Sie zur Adresse.

ps. Wenn Sie NGROK für das Streaming von Netzwerkstreaming verwenden, können Sie OpenTeleVision mit:

    self.tv = OpenTeleVision(self.resolution_cropped, self.shm.name, image_queue, toggle_streaming, ngrok=True)

Beispiel für Simulation Teleoperation

1. Nach dem Einrichten von Streaming mit lokalem oder Netzwerk -Streaming nach den oben genannten Anweisungen können Sie versuchen, zwei Roboter -Hände im Issac -Fitnessstudio zu teleoperieren:

    cd teleop && python teleop_hand.py

2. Gehen Sie zu Ihrer Vuer -Site auf VisionPro, klicken Sie Enter VR und Allow die Eingabe der in die Eingabe von Umgebungen.

3. Sehen Sie Ihre Hände in 3D!

Trainingshandbuch

1. Laden Sie den Datensatz von https://drive.google.com/drive/folders/11wo96mumjmxro9hpvm4adz7thuugnemy herunter.

2. Platzieren Sie den heruntergeladenen Datensatz in data/recordings/ .

3. Verarbeiten Sie den angegebenen Datensatz für das Training mithilfe von scripts/post_process.py .

4. Sie können die Bild- und Aktionssequenzen einer bestimmten Episode im Datensatz mithilfe von scripts/replay_demo.py überprüfen.

5. ACT zu trainieren, rennen:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt

6. Sparen Sie nach dem Training JIT für den gewünschten Checkpoint:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt
                               --save_jit --resume_ckpt 25000

7. Sie können die geschulte Richtlinie mit Eingaben aus Datensatz mit scripts/deploy_sim.py , Beispiel verwendet, visualisieren:

    python deploy_sim.py --taskid 00 --exptid 01 --resume_ckpt 25000

Zitat

 @article{cheng2024tv,
title={Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author={Cheng, Xuxin and Li, Jialong and Yang, Shiqi and Yang, Ge and Wang, Xiaolong},
journal={arXiv preprint arXiv:2407.01512},
year={2024}
}