JARVIS 1

JARVIS-1：帶有內存增強多模式模型的開放世界多任務代理

[網站] [紙] [Twitter]

抽象的

在開放世界中，通過多模式觀察來實現類似人類的計劃和控制，這是更具功能性通才代理商的關鍵里程碑。我們介紹了一個開放世界的代理Jarvis-1 ，可以感知多模式輸入（視覺觀察和人類說明），生成複雜的計劃並執行體現的控制，所有這些都在流行而又具有挑戰性的開放世界中的Minecraft Univers中。具體而言，我們在預先訓練的多模式模型的基礎上開發了JARVIS-1 ，該模型將視覺觀察和文本指令映射到計劃。這些計劃最終將被派往目標條件的控制器。我們為JARVIS-1配備了多模式的記憶，這有助於使用預訓練的知識及其實際的遊戲生存體驗進行計劃。 JARVIS-1是Minecraft中現有的最通用代理，能夠使用類似於人類的控制和觀察空間完成200多個不同的任務。這些任務範圍從短馬操作，例如“砍伐樹”到長馬式任務，例如“獲得鑽石拾音器”。 JARVIS-1在短距離任務中表現出色，取得了幾乎完美的表現。在獲得Diamondpickaxe的經典長期任務中， Jarvis-1超過了當前最新代理的可靠性5次，並且可以成功完成更長的培訓和更具挑戰性的任務。

代理播放視頻

我們列出了一系列顯示Jarvis-1玩Minecraft的視頻。您可以在我們的項目頁面上找到視頻。

安裝依賴項

該項目旨在僅在Linux上運行。沒有提供對其他平台的支持。

準備環境

我們建議使用Anaconda來管理環境。如果您沒有安裝Anaconda，則可以從這裡下載它。

conda create -n jarvis python=3.10
conda activate jarvis 

確保安裝了JDK 8。如果未安裝它，則可以使用以下命令安裝它：

conda install openjdk=8

要檢查您的JDK版本，請運行命令java -version 。您應該看到類似於以下消息的消息（如果您安裝了其他JDK分發，則詳細信息可能會有​​所不同）：

openjdk version " 1.8.0_392 "
OpenJDK Runtime Environment (build 1.8.0_392-8u392-ga-1~20.04-b08)
OpenJDK 64-Bit Server VM (build 25.392-b08, mixed mode)

安裝了所需的依賴項後，您可以運行prepare_mcp.py腳本來構建MCP-Reborn。在開始之前，請確保您具有穩定的互聯網連接。

python prepare_mcp.py

然後，您可以將Jarvis-1作為Python軟件包安裝。

pip install -e .

下載權重

Jarvis-1依靠Steve-I的重量。您可以從腳本下載權重。然後，您需要在文件jarvis/steveI/path.py中設置權重路徑。

用法

您需要首先設置環境變量TMPDIR和OPENAI_API_KEY 。

 export TMPDIR=/tmp
export OPENAI_API_KEY= " sk-****** "

通過動態記憶學習（即將推出）

然後，您可以運行以下命令來啟動JARVIS-1代理。

python open_jarvis.py --task iron_pickaxe --timeout 10

最後，您可以看到Jarvis-1代理在彈出的窗口中扮演Minecraft。您還可以運行以下命令以在無頭模式下啟動JARVIS-1代理。

xfvb-run -a python open_jarvis.py --task iron_pickaxe --timeout 10

帶有固定記憶的離線評估

python offline_evaluation.py
or
xvfb-run -a python offline_evaluation.py

現在，我們僅發布“ Offline_evaluation”代碼，即，您可以使用它來評估固定內存上的JARVIS-1代理。我們將盡快發布“在線_evaluation”代碼，即，您可以使用它來評估日益增長的內存中的Jarvis-1代理。

與原始JARVIS-1的區別

• 刪除self-check模塊以進行有效的計劃。
• assets/memory.json中的當前多模式內存。 JSON文件尚未完成。我們刪除了將來會發布的多模式state和action序列。
• 尚未發布multimodal descriptor和multimodel retrieval 。因此，您現在只能體驗Jarvis-1的語言模型部分。

待辦事項

• 釋放multimodal descriptor ，以使Jarvis-1了解視覺世界。我們計劃將multimodal memory上傳在擁抱面上。
• 釋放learning.py可以使自我改善的jarvis-1隨著記憶的增長。

相關項目

Jarvis-1建立在Minecraft的幾個項目上。以下是您可能感興趣的一些相關項目：

• Steve-1是Minecraft的指導調整視頻預處理（VPT）模型。我們將其用作JARVIS-1中控制器的一部分。
• Machedojo是一個模擬器套件，具有1000秒的開放式和語言啟動的任務，該任務是在流行的Minecraft遊戲上進行的，用於體現的代理研究。
• Mc-Textworld是Minecraft的文本世界環境。它被設計為基於文本的代理的基準。我們在JARVIS-1的早期版本中使用它來積累語言記憶。

看看我們的論文！

我們的論文可在Arxiv上找到。如果您發現Jarvis-1對您的研究有用，請引用我們的論文：

 @article{wang2023jarvis1,
    title   = {JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models},
    author  = {Zihao Wang and Shaofei Cai and Anji Liu and Yonggang Jin and Jinbing Hou and Bowei Zhang and Haowei Lin and Zhaofeng He and Zilong Zheng and Yaodong Yang and Xiaojian Ma and Yitao Liang},
    year    = {2023},
    journal = {arXiv preprint arXiv: 2311.05997}
}