TeleVision

Open-Television：とのテレオ操作

没入型のアクティブな視覚フィードバック

xuxin cheng*・jialong li*・shiqi yang
Ge Yang・Xiaolong Wang

Corl 2024

ウェブサイト| arxiv |ビデオ|まとめ

導入

このコードには、テレオ操作と模倣学習のための実装が含まれています。

インストール

    conda create -n tv python=3.8
    conda activate tv
    pip install -r requirements.txt
    cd act/detr && pip install -e .

Zed SDK：https：//www.stereolabs.com/developers/release/をインストールする

Zed Python APIをインストール：

    cd /usr/local/zed/ && python get_python_api.py

シミュレートされた環境でテレオ操作の例を試してみたい場合（teleop_hand.py）：

ISAACジムのインストール：https：//developer.nvidia.com/isaac-gym/

テレオ操作ガイド

ローカルストリーミング

クエストローカルストリーミングについては、この問題に従ってください。

Appleは、非HTTPS接続でWebXRを許可していません。アプリケーションをローカルでテストするには、自己署名証明書を作成してクライアントにインストールする必要があります。 Ubuntuマシンとルーターが必要です。 VisionProとUbuntuマシンを同じルーターに接続します。

1. mkcert：https：//github.com/filosottile/mkcertをインストールします
2. ローカルIPアドレスを確認してください：

    ifconfig | grep inet

UbuntuマシンのローカルIPアドレスが192.168.8.102であるとします。

3. 証明書の作成：

    mkcert -install && mkcert -cert-file cert.pem -key-file key.pem 192.168.8.102 localhost 127.0.0.1

詩生成されたcert.pemとkey.pemファイルをteleopに配置します。

4. サーバーでファイアウォールを開きます

    sudo iptables -A INPUT -p tcp --dport 8012 -j ACCEPT
    sudo iptables-save
    sudo iptables -L

またはufwで行うことができます：

    sudo ufw allow 8012

    tv = OpenTeleVision(self.resolution_cropped, shm.name, image_queue, toggle_streaming, ngrok=False)

6. VisionProにCAの認証をインストールします

    mkcert -CAROOT

Rootca.pemをAirDropからVisionProにコピーしてインストールします。

設定>一般> AROUNT>証明書信託設定。 「ルート証明書の完全な信頼を有効にする」で、証明書の信頼をオンにします。

設定>アプリ> SAFARI> Advanced>機能フラグ> WebXR関連の機能を有効にする

7. VisionProでSafariでブラウザを開き、 https://192.168.8.102:8012?ws=wss://192.168.8.102:8012 //192.168.8.102:8012?ws=wss://192.168.8.102:8012にアクセスしてください

8. Enter VRクリックし、VRセッションを開始しAllow 。

ネットワークストリーミング

Meta Quest3の場合、証明書のインストールは些細なことではありません。ネットワークストリーミングソリューションを使用する必要があります。 ngrokを使用して、サーバーに安全なトンネルを作成します。この方法は、VisionProとMeta Quest3の両方で機能します3。

1. ngrok：https：//ngrok.com/downloadをインストールします
2. ngrokを実行します

    ngrok http 8012

3. HTTPSアドレスをコピーして、Meta Quest3でブラウザを開き、アドレスに移動します。

詩ネットワークストリーミングにngrokを使用する場合、次のようにOpenTeleVision電話することを忘れないでください。

    self.tv = OpenTeleVision(self.resolution_cropped, self.shm.name, image_queue, toggle_streaming, ngrok=True)

シミュレーションテレオ操作の例

1. 上記の指示に従ってローカルまたはネットワークストリーミングでストリーミングをセットアップした後、Issacジムで2つのロボットハンズをテレホイオで試してみることができます。

    cd teleop && python teleop_hand.py

2. VisionProのVuerサイトに移動し、 Enter VR 、没入型環境に入ることをAllow 。

3. 3Dであなたの手を見てください！

トレーニングガイド

1. https://drive.google.com/drive/folders/11wo96mumjmxro9hpvm4adz7thuugnemy？usp = sharingからデータセットをダウンロードしてください。

2. ダウンロードしたデータセットをdata/recordings/に配置します。

3. scripts/post_process.pyを使用してトレーニング用に指定されたデータセットを処理します。

4. scripts/replay_demo.pyを使用して、データセット内の特定のエピソードの画像とアクションシーケンスを確認できます。

5. 行為を訓練するには、実行する：

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt

6. トレーニング後、目的のチェックポイントのためにJITを保存します。

    python imitate_episodes.py --policy_class ACT --kl_weight 10 --chunk_size 60 --hidden_dim 512 --batch_size 45 --dim_feedforward 3200 --num_epochs 50000 --lr 5e-5 --seed 0 --taskid 00 --exptid 01-sample-expt
                               --save_jit --resume_ckpt 25000

7. scripts/deploy_sim.py 、例の使用法を使用して、データセットからの入力でトレーニングされたポリシーを視覚化できます。

    python deploy_sim.py --taskid 00 --exptid 01 --resume_ckpt 25000

引用

 @article{cheng2024tv,
title={Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author={Cheng, Xuxin and Li, Jialong and Yang, Shiqi and Yang, Ge and Wang, Xiaolong},
journal={arXiv preprint arXiv:2407.01512},
year={2024}
}