JARVIS 1

Jarvis-1: Open-World Multi-Task-Agenten mit maßstabsgeräten multimodalen Sprachmodellen

[Website] [Papier] [Twitter]

Abstrakt

Das Erreichen von menschlicher Planung und Kontrolle mit multimodalen Beobachtungen in einer offenen Welt ist ein wichtiger Meilenstein für funktionalere Generalisten. Wir stellen Jarvis-1 vor, einen Open-World-Agenten, der multimodale Eingaben (visuelle Beobachtungen und menschliche Anweisungen) wahrnehmen, anspruchsvolle Pläne erzeugen und eine verkörperte Kontrolle durchführen kann, die alle innerhalb des beliebten, aber herausfordernden Open-World-Minecraft-Universums eine verkörperte Kontrolle durchführen. Insbesondere entwickeln wir JARVIS-1 über vorgebliebene multimodale Sprachmodelle, die visuelle Beobachtungen und Textanweisungen für Pläne zuordnen. Die Pläne werden letztendlich an die zielgerichteten Controller gesendet. Wir setzen Jarvis-1 mit einem multimodalen Gedächtnis aus, das die Planung sowohl mit vorgebildetem Wissen als auch seinen tatsächlichen Spielerlebnissen ermöglicht. Jarvis-1 ist der bestehende Generalagent in Minecraft, der über 200 verschiedene Aufgaben unter Verwendung des Kontroll- und Beobachtungsraums ähnlich dem Menschen erledigen kann. Diese Aufgaben reichen von Kurzhorizont-Aufgaben, z. B. "Bäume" bis hin zu Langhorizonaufgaben, z. Jarvis-1 funktioniert in Kurzhorizont-Aufgaben außergewöhnlich gut und erreicht eine nahezu perfekte Leistung. In der klassischen langfristigen Aufgabe von OutDiamondpickaxe übertrifft Jarvis-1 die Zuverlässigkeit der aktuellen hochmodernen Agenten um das 5-fache und kann längere Horizont und anspruchsvollere Aufgaben erfolgreich erledigen.

Agent, das Videos abspielt

Wir listen eine Reihe von Videos auf, in denen Jarvis-1 Minecraft spielt. Sie finden die Videos auf unserer Projektseite.

Abhängigkeiten installieren

Dieses Projekt dürfte nur auf Linux ausgeführt werden. Unterstützung für andere Plattformen wird nicht bereitgestellt.

Die Umgebung vorbereiten

Wir empfehlen, Anaconda zur Verwaltung der Umgebung zu verwenden. Wenn Sie Anaconda nicht installieren lassen, können Sie es von hier herunterladen.

conda create -n jarvis python=3.10
conda activate jarvis 

Stellen Sie sicher, dass JDK 8 installiert ist. Wenn Sie es nicht installieren lassen, können Sie es mit dem folgenden Befehl installieren:

conda install openjdk=8

Um Ihre JDK -Version zu überprüfen, führen Sie den Befehl java -version aus. Sie sollten eine ähnliche Nachricht wie die folgenden Angaben sehen (Details können variieren, wenn Sie eine andere JDK -Verteilung installiert haben):

openjdk version " 1.8.0_392 "
OpenJDK Runtime Environment (build 1.8.0_392-8u392-ga-1~20.04-b08)
OpenJDK 64-Bit Server VM (build 25.392-b08, mixed mode)

Sobald Sie die erforderlichen Abhängigkeiten installiert haben, können Sie das Skript prepare_mcp.py ausführen, um MCP-reborn zu erstellen. Stellen Sie sicher, dass Sie eine stabile Internetverbindung haben, bevor Sie beginnen.

python prepare_mcp.py

Dann können Sie Jarvis-1 als Python-Paket installieren.

pip install -e .

Gewichte herunterladen

Jarvis-1 beruht auf den Gewichten von Steve-I. Sie können die Gewichte aus dem Skript herunterladen. Dann müssen Sie den Gewichtspfad in der Datei jarvis/steveI/path.py einstellen.

Verwendung

Sie müssen zuerst die Umgebungsvariable TMPDIR und OPENAI_API_KEY festlegen.

 export TMPDIR=/tmp
export OPENAI_API_KEY= " sk-****** "

Lernen mit dynamischem Gedächtnis (bald kommen)

Dann können Sie den folgenden Befehl ausführen, um den JARVIS-1-Agenten zu starten.

python open_jarvis.py --task iron_pickaxe --timeout 10

Schließlich können Sie den Jarvis-1-Agenten sehen, der Minecraft im Poped-Fenster spielt. Sie können auch den folgenden Befehl ausführen, um den JARVIS-1-Agenten im kopflosen Modus zu starten.

xfvb-run -a python open_jarvis.py --task iron_pickaxe --timeout 10

Offline -Bewertung mit festem Speicher

python offline_evaluation.py
or
xvfb-run -a python offline_evaluation.py

Jetzt veröffentlichen wir nur den Code "offline_evaluation", dh Sie können ihn verwenden, um den JARVIS-1-Agenten im festen Speicher zu bewerten. Wir werden den Code "Online_Valuation" in Kürze veröffentlichen, dh Sie können ihn verwenden, um den JARVIS-1-Agenten im wachsenden Speicher zu bewerten.

Unterschiede zum ursprünglichen Jarvis-1

• Entfernen Sie das self-check für eine effiziente Planung.
• Der aktuelle multimodale Speicher in assets/memory.json -Datei ist nicht abgeschlossen. Wir entfernen den multimodalen state und action , die in Zukunft veröffentlicht werden.
• Der multimodal descriptor und das multimodel retrieval werden noch nicht veröffentlicht. So können Sie jetzt nur das Sprachmodell Teil von Jarvis-1 erleben.

Aufgabe

• Veröffentlichen Sie multimodal descriptor , damit Jarvis-1 die visuelle Welt verstehen kann. Wir planen, den multimodal memory auf das Umarmungsface hochzuladen.
• Release learning.py , um selbstverbesserte Jarvis-1 mit wachsendem Gedächtnis zu ermöglichen.

Verwandte Projekte

Jarvis-1 basiert auf mehreren Projekten in Minecraft. Hier sind einige verwandte Projekte, an denen Sie interessiert sein könnten:

• Steve-1 ist ein Modell für Anweisungen für ein VPT-Modell für Minecraft (VPT). Wir verwenden es als Teil des Controllers in Jarvis-1.
• Minedojo ist eine Simulator-Suite mit 1000 offenen und sprachgefüllten Aufgaben, die auf dem beliebten Minecraft-Spiel für verkörperte Agentenforschung basieren.
• MC-TextWorld ist eine Textumgebung für die Textwelt für Minecraft. Es ist als Benchmark für textbasierte Agenten konzipiert. Wir verwenden es in der frühen Version von JARVIS-1, um das Sprachgedächtnis zu sammeln.

Schauen Sie sich unser Papier an!

Unser Papier ist auf Arxiv erhältlich. Bitte zitieren Sie unser Papier, wenn Sie Jarvis-1 für Ihre Forschung nützlich finden:

 @article{wang2023jarvis1,
    title   = {JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models},
    author  = {Zihao Wang and Shaofei Cai and Anji Liu and Yonggang Jin and Jinbing Hou and Bowei Zhang and Haowei Lin and Zhaofeng He and Zilong Zheng and Yaodong Yang and Xiaojian Ma and Yitao Liang},
    year    = {2023},
    journal = {arXiv preprint arXiv: 2311.05997}
}