TeleVision

Open-Television: Teleoperation with

ردود فعل مرئية نشطة غامرة

Xuxin Cheng* · Jialong li* · Shiqi Yang
GE Yang · Xiaolong Wang

كورل 2024

الموقع | Arxiv | فيديو | ملخص

مقدمة

يحتوي هذا الرمز على تنفيذ عن بُعد وتعلم التقليد من television المفتوح.

تثبيت

    conda create -n tv python=3.8
    conda activate tv
    pip install -r requirements.txt
    cd act/detr && pip install -e .

تثبيت Zed SDK: https://www.stereolabs.com/developers/release/

تثبيت Zed Python API:

    cd /usr/local/zed/ && python get_python_api.py

إذا كنت ترغب في تجربة مثال Teleoperation في بيئة محاكاة (Teleop_hand.py):

تثبيت Isaac Gym: https://developer.nvidia.com/isaac-gym/

دليل teleoperation

تدفق محلي

للحصول على البث المحلي ، اتبع هذه المشكلة.

لا تسمح Apple WebXR على اتصالات غير HTTPS. لاختبار التطبيق محليًا ، نحتاج إلى إنشاء شهادة موقعة ذاتيا وتثبيتها على العميل. تحتاج إلى آلة Ubuntu وموجه. قم بتوصيل جهاز VisionPro وآلة Ubuntu بنفس جهاز التوجيه.

1. تثبيت mkcert: https://github.com/filosottile/mkcert
2. تحقق من عنوان IP المحلي:

    ifconfig | grep inet

لنفترض أن عنوان IP المحلي لجهاز Ubuntu هو 192.168.8.102 .

3. إنشاء شهادة:

    mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.8.102 localhost 127.0.0.1

ملاحظة. ضع ملفات cert.pem و key.pem التي تم إنشاؤها في teleop .

4. افتح جدار الحماية على الخادم

    sudo iptables -A INPUT -p tcp --dport 8012 -j ACCEPT
    sudo iptables-save
    sudo iptables -L

أو يمكن القيام به مع ufw :

    sudo ufw allow 8012

    tv = OpenTeleVision(self.resolution_cropped, shm.name, image_queue, toggle_streaming, ngrok=False)

6. قم بتثبيت CA على VisionPro

    mkcert -CAROOT

انسخ routca.pem عبر Airdrop إلى VisionPro وتثبيته.

الإعدادات> عام> حول> إعدادات الثقة الشهادة. ضمن "تمكين الثقة الكاملة لشهادات الجذر" ، قم بتشغيل الثقة للشهادة.

الإعدادات> التطبيقات> Safari> Advanced> أعلام الميزات> تمكين الميزات ذات الصلة

7. افتح المتصفح على Safari على VisionPro وانتقل إلى https://192.168.8.102:8012?ws=wss://192.168.8.102:8012

8. انقر فوق Enter VR Allow لبدء جلسة VR.

تدفق الشبكة

بالنسبة لـ META QUEST3 ، فإن تثبيت الشهادة ليس تافهًا. نحن بحاجة إلى استخدام حل دفق الشبكة. نستخدم ngrok لإنشاء نفق آمن للخادم. ستعمل هذه الطريقة لكل من VisionPro و Meta Quest3.

1. تثبيت ngrok: https://ngrok.com/download
2. تشغيل ngrok

    ngrok http 8012

3. انسخ عنوان HTTPS وفتح المتصفح على Meta Quest3 وانتقل إلى العنوان.

ملاحظة. عند استخدام NGROK لتدفق الشبكة ، تذكر الاتصال بـ OpenTeleVision مع:

    self.tv = OpenTeleVision(self.resolution_cropped, self.shm.name, image_queue, toggle_streaming, ngrok=True)

مثال عن بعد محاكاة

1. بعد إعداد البث مع تدفق الشبكة المحلي أو الشبكات بعد الإرشادات المذكورة أعلاه ، يمكنك تجربة اثنين من اليدين الروبوت في صالة ISSAC:

    cd teleop && python teleop_hand.py

2. انتقل إلى موقع Vuer الخاص بك على VisionPro ، انقر فوق Enter VR Allow للدخول إلى بيئة غامرة.

3. ترى يديك في 3D!

دليل التدريب

1. قم بتنزيل مجموعة البيانات من https://drive.google.com/drive/folders/11wo96mumjmxro9hpvm4adz7thuugnemy؟usp=sharing.

2. ضع مجموعة البيانات التي تم تنزيلها في data/recordings/ .

3. معالجة مجموعة البيانات المحددة للتدريب باستخدام scripts/post_process.py .

4. يمكنك التحقق من تسلسل الصور والعمل في حلقة معينة في مجموعة البيانات باستخدام scripts/replay_demo.py .

5. للتدريب ، قم بالتشغيل:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt

6. بعد التدريب ، احفظ JIT لنقطة التفتيش المطلوبة:

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt
                               --save_jit --resume_ckpt 25000

7. يمكنك تصور السياسة المدربة مع مدخلات من مجموعة البيانات باستخدام scripts/deploy_sim.py ، مثال على الاستخدام:

    python deploy_sim.py --taskid 00 --exptid 01 --resume_ckpt 25000

اقتباس

 @article{cheng2024tv,
title={Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author={Cheng, Xuxin and Li, Jialong and Yang, Shiqi and Yang, Ge and Wang, Xiaolong},
journal={arXiv preprint arXiv:2407.01512},
year={2024}
}