TeleVision

Open-Television : Teleoperation

몰입 형 활성 시각적 피드백

XUXIN Cheng* · Jialong Li* · Shiqi Yang
Ge Yang · Xiaolong Wang

CORL 2024

웹 사이트 | arxiv | 비디오 | 요약

소개

이 코드에는 Open-Television의 원격화 및 모방 학습을위한 구현이 포함되어 있습니다.

설치

    conda create -n tv python=3.8
    conda activate tv
    pip install -r requirements.txt
    cd act/detr && pip install -e .

ZED SDK를 설치하십시오 : https://www.stereolabs.com/developers/release/

Zed Python API 설치 :

    cd /usr/local/zed/ && python get_python_api.py

시뮬레이션 된 환경 (Teleop_hand.py)에서 텔레오프레이션 예제를 시도하려면 :

Isaac Gym 설치 : https://developer.nvidia.com/isaac-gym/

원격 수술 안내서

로컬 스트리밍

퀘스트 로컬 스트리밍의 경우이 문제를 따르십시오.

Apple은 HTTPS 연결에서 WebXR을 허용하지 않습니다. 로컬로 응용 프로그램을 테스트하려면 자체 서명 된 인증서를 작성하여 클라이언트에 설치해야합니다. 우분투 머신과 라우터가 필요합니다. VisionPro와 Ubuntu 기계를 동일한 라우터에 연결하십시오.

1. mkcert : https://github.com/filosottile/mkcert를 설치하십시오
2. 로컬 IP 주소 확인 :

    ifconfig | grep inet

우분투 머신의 로컬 IP 주소가 192.168.8.102 가정 해 봅시다.

3. 인증서 만들기 :

    mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.8.102 localhost 127.0.0.1

추신. 생성 된 cert.pem 및 key.pem 파일을 teleop 에 배치하십시오.

4. 서버에서 방화벽을 엽니 다

    sudo iptables -A INPUT -p tcp --dport 8012 -j ACCEPT
    sudo iptables-save
    sudo iptables -L

또는 ufw 로 수행 할 수 있습니다.

    sudo ufw allow 8012

    tv = OpenTeleVision(self.resolution_cropped, shm.name, image_queue, toggle_streaming, ngrok=False)

6. VisionPro에 Ca-Certificates를 설치하십시오

    mkcert -CAROOT

rootca.pem을 Airdrop을 통해 VisionPro로 복사하여 설치하십시오.

설정> 일반> 정보> 인증서 신탁 설정. "루트 인증서에 대한 완전한 신뢰 활성화"에서 인증서에 대한 신뢰를 켜십시오.

설정> 앱> Safari> 고급> 기능 플래그> WebXR 관련 기능 활성화

7. VisionPro의 Safari에서 브라우저를 열고 https://192.168.8.102:8012?ws=wss://192.168.8.102:8012 로 이동하십시오.

8. Enter VR 클릭하고 VR 세션을 시작할 Allow .

네트워크 스트리밍

Meta Quest3의 경우 인증서의 설치는 사소하지 않습니다. 네트워크 스트리밍 솔루션을 사용해야합니다. 우리는 ngrok 사용하여 서버에 안전한 터널을 만듭니다. 이 방법은 VisionPro 및 Meta Quest3에 모두 작동합니다.

1. ngrok : https://ngrok.com/download를 설치하십시오
2. Ngrok을 실행하십시오

    ngrok http 8012

3. HTTPS 주소를 복사하고 Meta Quest3에서 브라우저를 열고 주소로 이동하십시오.

추신. 네트워크 스트리밍에 NGROK을 사용할 때는 다음과 같이 OpenTeleVision 으로 전화하십시오.

    self.tv = OpenTeleVision(self.resolution_cropped, self.shm.name, image_queue, toggle_streaming, ngrok=True)

시뮬레이션 텔레 오퍼레이션 예제

1. 위의 지침에 따라 로컬 또는 네트워크 스트리밍으로 스트리밍을 설정 한 후 Issac Gym에서 2 개의 로봇 핸드를 텔레로 제공해보십시오.

    cd teleop && python teleop_hand.py

2. VisionPro의 Vuer 사이트로 이동하여 Enter VR 클릭하고 몰입 형 환경에 들어가도록 Allow .

3. 3D로 손을 만나십시오!

훈련 안내서

1. https://drive.google.com/drive/folders/11wo96mumjmxro9hpvm4adz7thuugnemy?usp=sharing에서 데이터 세트를 다운로드하십시오.

2. 다운로드 된 데이터 세트를 data/recordings/ 에 배치하십시오.

3. scripts/post_process.py 사용하여 교육을 위해 지정된 데이터 세트를 처리합니다.

4. scripts/replay_demo.py 사용하여 데이터 세트의 특정 에피소드의 이미지 및 동작 시퀀스를 확인할 수 있습니다.

5. 행위를 훈련 시키려면 달리기 :

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt

6. 훈련 후 원하는 체크 포인트에 대한 JIT를 저장하십시오.

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt
                               --save_jit --resume_ckpt 25000

7. scripts/deploy_sim.py , 예제 사용을 사용하여 데이터 세트의 입력으로 훈련 된 정책을 시각화 할 수 있습니다.

    python deploy_sim.py --taskid 00 --exptid 01 --resume_ckpt 25000

소환

 @article{cheng2024tv,
title={Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author={Cheng, Xuxin and Li, Jialong and Yang, Shiqi and Yang, Ge and Wang, Xiaolong},
journal={arXiv preprint arXiv:2407.01512},
year={2024}
}