TeleVision

Télition ouverte: téléopération avec

Rétroaction visuelle active immersive

Xuxin Cheng * · Jialong li * · Shiqi Yang
Ge Yang · Xiaolong Wang

Corl 2024

Site Web | arXiv | Vidéo | Résumé

Introduction

Ce code contient l'implémentation de la téléopération et de l'apprentissage de l'imitation de la télévision en libre-être.

Installation

    conda create -n tv python=3.8
    conda activate tv
    pip install -r requirements.txt
    cd act/detr && pip install -e .

Installez ZED SDK: https://www.stereolabs.com/developers/release/

Installez API Zed Python:

    cd /usr/local/zed/ && python get_python_api.py

Si vous souhaitez essayer l'exemple de téléopération dans un environnement simulé (teleop_hand.py):

Installer Isaac Gym: https://developer.nvidia.com/isaac-gym/

Guide de téléopération

Streaming local

Pour le streaming local Quest , suivez ce problème.

Apple n'autorise pas WebXR sur les connexions non-HTTPS. Pour tester l'application localement, nous devons créer un certificat auto-signé et l'installer sur le client. Vous avez besoin d'une machine Ubuntu et d'un routeur. Connectez la machine VisionPro et Ubuntu au même routeur.

1. Installer Mkcert: https://github.com/filosottile/mkcert
2. Vérifiez l'adresse IP locale:

    ifconfig | grep inet

Supposons que l'adresse IP locale de la machine Ubuntu soit 192.168.8.102 .

3. Créer un certificat:

    mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.8.102 localhost 127.0.0.1

Ps. Placez les fichiers cert.pem et key.pem générés dans teleop .

4. Ouvrez le pare-feu sur le serveur

    sudo iptables -A INPUT -p tcp --dport 8012 -j ACCEPT
    sudo iptables-save
    sudo iptables -L

ou peut être fait avec ufw :

    sudo ufw allow 8012

    tv = OpenTeleVision(self.resolution_cropped, shm.name, image_queue, toggle_streaming, ngrok=False)

6. Installez CA-Certificats sur VisionPro

    mkcert -CAROOT

Copiez le rootca.pem via Airdrop sur VisionPro et installez-le.

Paramètres> Général> À propos de> Paramètres de confiance de certificat. Sous "Activer Full Trust for Root Certificates", activez la confiance du certificat.

Paramètres> Applications> Safari> Avancé> Fonctionnalités Fonctionnalités> Activer les fonctionnalités liées à WebXR

7. Ouvrez le navigateur sur Safari sur VisionPro et allez sur https://192.168.8.102:8012?ws=wss://192.168.8.102:8012

8. Cliquez sur Enter VR et Allow de démarrer la session VR.

Streaming de réseau

Pour Meta Quest3, l'installation du certificat n'est pas triviale. Nous devons utiliser une solution de streaming réseau. Nous utilisons ngrok pour créer un tunnel sécurisé sur le serveur. Cette méthode fonctionnera pour VisionPro et Meta Quest3.

1. Installer Ngrok: https://ngrok.com/download
2. Exécuter ngrok

    ngrok http 8012

3. Copiez l'adresse HTTPS et ouvrez le navigateur sur Meta Quest3 et accédez à l'adresse.

Ps. Lorsque vous utilisez NGROK pour le streaming réseau, n'oubliez pas d'appeler OpenTeleVision avec:

    self.tv = OpenTeleVision(self.resolution_cropped, self.shm.name, image_queue, toggle_streaming, ngrok=True)

Exemple de téléopération de simulation

1. Après avoir configuré le streaming avec le streaming local ou réseau suivant les instructions ci-dessus, vous pouvez essayer de téléopération de deux mains de robots dans le gymnase Issac:

    cd teleop && python teleop_hand.py

2. Accédez à votre site VUER sur VisionPro, cliquez sur Enter VR et Allow de saisir un environnement immersif.

3. Voir vos mains en 3D!

Guide de formation

1. Téléchargez un ensemble de données à partir de https://drive.google.com/drive/folders/11wo96mumjmxro9hpvm4adz7thuugnemy?usp=sharing.

2. Placez l'ensemble de données téléchargé dans data/recordings/ .

3. Traitez l'ensemble de données spécifié pour la formation à l'aide scripts/post_process.py .

4. Vous pouvez vérifier les séquences d'image et d'action d'un épisode spécifique dans l'ensemble de données à l'aide scripts/replay_demo.py .

5. Pour former ACT, courez:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt

6. Après l'entraînement, enregistrez JIT pour le point de contrôle souhaité:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt
                               --save_jit --resume_ckpt 25000

7. Vous pouvez visualiser la stratégie formée avec les entrées de DataSet à l'aide scripts/deploy_sim.py , utilisation d'exemple:

    python deploy_sim.py --taskid 00 --exptid 01 --resume_ckpt 25000

Citation

 @article{cheng2024tv,
title={Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author={Cheng, Xuxin and Li, Jialong and Yang, Shiqi and Yang, Ge and Wang, Xiaolong},
journal={arXiv preprint arXiv:2407.01512},
year={2024}
}