TeleVision

Open Television: teleoperation ด้วย

ข้อเสนอแนะด้วยภาพที่ใช้งานอยู่

Xuxin Cheng* · Jialong Li* · Shiqi Yang
Ge Yang · Xiaolong Wang

CORL 2024

เว็บไซต์ | arxiv วิดีโอ | สรุป

การแนะนำ

รหัสนี้มีการนำไปใช้สำหรับการเรียนรู้ทางไกลและการเลียนแบบการเปิดรับสัญญาณแบบเปิด

การติดตั้ง

    conda create -n tv python=3.8
    conda activate tv
    pip install -r requirements.txt
    cd act/detr && pip install -e .

ติดตั้ง Zed SDK: https://www.stereolabs.com/developers/release/

ติดตั้ง Zed Python API:

    cd /usr/local/zed/ && python get_python_api.py

หากคุณต้องการลองตัวอย่าง teleoperation ในสภาพแวดล้อมที่จำลอง (teleop_hand.py):

ติดตั้ง Isaac Gym: https://developer.nvidia.com/isaac-gym/

คู่มือ teleoperation

สตรีมมิ่งท้องถิ่น

สำหรับ Quest Local Streaming ให้ทำตามปัญหานี้

Apple ไม่อนุญาตให้ WebXR ในการเชื่อมต่อที่ไม่ใช่ HTTPS ในการทดสอบแอปพลิเคชันในเครื่องเราต้องสร้างใบรับรองที่ลงนามด้วยตนเองและติดตั้งบนไคลเอนต์ คุณต้องการเครื่อง Ubuntu และเราเตอร์ เชื่อมต่อ VisionPro และเครื่อง Ubuntu เข้ากับเราเตอร์เดียวกัน

1. ติดตั้ง mkcert: https://github.com/filosottile/mkcert
2. ตรวจสอบที่อยู่ IP ในท้องถิ่น:

    ifconfig | grep inet

สมมติว่าที่อยู่ IP ท้องถิ่นของเครื่อง Ubuntu คือ 192.168.8.102

3. สร้างใบรับรอง:

    mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.8.102 localhost 127.0.0.1

ป.ล. วางไฟล์ cert.pem และ key.pem ที่สร้างขึ้นใน teleop

4. เปิดไฟร์วอลล์บนเซิร์ฟเวอร์

    sudo iptables -A INPUT -p tcp --dport 8012 -j ACCEPT
    sudo iptables-save
    sudo iptables -L

หรือสามารถทำได้ด้วย ufw :

    sudo ufw allow 8012

    tv = OpenTeleVision(self.resolution_cropped, shm.name, image_queue, toggle_streaming, ngrok=False)

6. ติดตั้ง CA-certificates บน VisionPro

    mkcert -CAROOT

คัดลอก rootca.pem ผ่าน AirDrop ไปยัง VisionPro และติดตั้ง

การตั้งค่า> ทั่วไป> เกี่ยวกับ> การตั้งค่าความน่าเชื่อถือของใบรับรอง ภายใต้ "เปิดใช้งานเต็มความน่าเชื่อถือสำหรับใบรับรองรูท" เปิดความน่าเชื่อถือสำหรับใบรับรอง

การตั้งค่า> แอพ> Safari> Advanced> Feature Flags> เปิดใช้งานคุณสมบัติที่เกี่ยวข้องกับ webXR

7. เปิดเบราว์เซอร์บน Safari บน VisionPro และไปที่ https://192.168.8.102:8012?ws=wss://192.168.8.102:8012

8. คลิก Enter VR และ Allow ให้เริ่มเซสชัน VR

การสตรีมเครือข่าย

สำหรับ Meta Quest3 การติดตั้งใบรับรองไม่สำคัญ เราจำเป็นต้องใช้โซลูชันการสตรีมเครือข่าย เราใช้ ngrok เพื่อสร้างอุโมงค์ที่ปลอดภัยไปยังเซิร์ฟเวอร์ วิธีนี้จะทำงานได้ทั้ง VisionPro และ Meta Quest3

1. ติดตั้ง ngrok: https://ngrok.com/download
2. เรียกใช้ ngrok

    ngrok http 8012

3. คัดลอกที่อยู่ HTTPS และเปิดเบราว์เซอร์บน Meta Quest3 และไปที่ที่อยู่

ป.ล. เมื่อใช้ Ngrok สำหรับการสตรีมเครือข่ายอย่าลืมเรียก OpenTeleVision ด้วย:

    self.tv = OpenTeleVision(self.resolution_cropped, self.shm.name, image_queue, toggle_streaming, ngrok=True)

ตัวอย่างการจำลองเทเลโพรเนอร์

1. หลังจากตั้งค่าสตรีมมิ่งด้วยสตรีมมิ่งท้องถิ่นหรือเครือข่ายตามคำแนะนำข้างต้นคุณสามารถลองใช้มือหุ่นยนต์สองตัวใน ISSAC Gym:

    cd teleop && python teleop_hand.py

2. ไปที่ไซต์ Vuer ของคุณบน VisionPro คลิก Enter VR และ Allow ให้เข้าสู่สภาพแวดล้อมที่ดื่มด่ำ

3. ดูมือของคุณใน 3D!

คู่มือการฝึกอบรม

1. ดาวน์โหลดชุดข้อมูลจาก https://drive.google.com/drive/folders/11wo96mumjmxro9hpvm4adz7thuugnemy?usp=sharing

2. วางชุดข้อมูลที่ดาวน์โหลดใน data/recordings/

3. ประมวลผลชุดข้อมูลที่ระบุสำหรับการฝึกอบรมโดยใช้ scripts/post_process.py

4. คุณสามารถตรวจสอบลำดับภาพและการกระทำของตอนเฉพาะในชุดข้อมูลโดยใช้ scripts/replay_demo.py

5. เพื่อฝึก Act, Run:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt

6. หลังจากการฝึกอบรมบันทึก JIT สำหรับจุดตรวจที่ต้องการ:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt
                               --save_jit --resume_ckpt 25000

7. คุณสามารถเห็นภาพนโยบายที่ผ่านการฝึกอบรมด้วยอินพุตจากชุดข้อมูลโดยใช้ scripts/deploy_sim.py , ตัวอย่างการใช้งาน:

    python deploy_sim.py --taskid 00 --exptid 01 --resume_ckpt 25000

การอ้างอิง

 @article{cheng2024tv,
title={Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author={Cheng, Xuxin and Li, Jialong and Yang, Shiqi and Yang, Ge and Wang, Xiaolong},
journal={arXiv preprint arXiv:2407.01512},
year={2024}
}