language planner

แบบจำลองภาษาเป็นนักวางแผนการช็อตเป็นศูนย์:
การสกัดความรู้ที่สามารถดำเนินการได้สำหรับตัวแทนที่เป็นตัวเป็นตน

[หน้าโครงการ] [กระดาษ] [วิดีโอ]

Wenlong Huang ¹ , Pieter Abbeel ¹ , Deepak Pathak* ² , Igor Mordatch* ³ (* คำแนะนำที่เท่าเทียมกัน)

¹ มหาวิทยาลัยแห่งแคลิฟอร์เนียเบิร์กลีย์ ² มหาวิทยาลัย Carnegie Mellon, ³ Google Brain

นี่คือรหัสตัวอย่างอย่างเป็นทางการสำหรับรูปแบบภาษาของเราในฐานะกระดาษนักวางแผนการยิง รหัสแสดงให้เห็นว่าแบบจำลองภาษาขนาดใหญ่เช่น GPT-3 และ Codex สามารถสร้างแผนปฏิบัติการสำหรับกิจกรรมของมนุษย์ที่ซับซ้อน (เช่น "ทำอาหารเช้า") แม้จะไม่มีการฝึกอบรมเพิ่มเติม รหัสสามารถใช้กับโมเดลภาษาที่มีอยู่จาก OpenAI API และ HuggingFace Transformers พร้อมอินเทอร์เฟซทั่วไป

หากคุณพบว่างานนี้มีประโยชน์ในการวิจัยของคุณโปรดอ้างอิงโดยใช้ BibTex ต่อไปนี้:

 @article { huang2022language ,
      title = { Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents } ,
      author = { Huang, Wenlong and Abbeel, Pieter and Pathak, Deepak and Mordatch, Igor } ,
      journal = { arXiv preprint arXiv:2201.07207 } ,
      year = { 2022 }
    }

การตั้งค่าท้องถิ่นหรือเปิดใน colab

ความต้องการ

• Python = 3.6.13
• cuda = 11.3

คำแนะนำการตั้งค่า

git clone https://github.com/huangwl18/language-planner.git
cd language-planner/
conda create --name language-planner-env python=3.6.13
conda activate language-planner-env
pip install --upgrade pip
pip install -r requirements.txt

รหัสกำลัง

ดู demo.ipynb (หรือ) สำหรับการเดินผ่านวิธีการของเราอย่างสมบูรณ์ อย่าลังเลที่จะทดลองกับงานครัวเรือนใด ๆ ที่คุณคิด (หรืองานใด ๆ นอกเหนือจากโดเมนในครัวเรือนหากคุณให้การดำเนินการที่จำเป็นใน available_actions.json )!

บันทึก:

• เป็นที่สังเกตว่าผลลัพธ์ที่ดีที่สุดสามารถรับได้ด้วยแบบจำลองภาษาที่ใหญ่กว่า หากคุณไม่สามารถเรียกใช้โมเดล HuggingFace Transformers ในพื้นที่หรือบน Google Colab เนื่องจากข้อ จำกัด ของหน่วยความจำขอแนะนำให้ลงทะเบียนบัญชี OpenAI API และใช้ GPT-3 หรือ CODEX (ณ วันที่ 01/2022 เครดิตฟรี $ 18 จะมอบให้กับบัญชีใหม่และซีรี่ส์ Codex ฟรี
• เนื่องจากความไวสูงของโมเดลภาษาในการสุ่มตัวอย่างไฮเปอร์พารามิเตอร์คุณอาจต้องปรับตัวอย่างไฮเปอร์พารามิเตอร์สำหรับรุ่นที่แตกต่างกันเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด
• รหัสใช้รายการของการกระทำที่มีอยู่ที่รองรับในเครื่องจำลองกราฟการพัฒนา VirtualHome 1.0 การดำเนินการที่มีอยู่จะถูกเก็บไว้ใน available_actions.json การกระทำควรสนับสนุนงานครัวเรือนที่หลากหลาย อย่างไรก็ตามคุณสามารถแก้ไขหรือแทนที่ไฟล์นี้ได้หากคุณสนใจชุดการกระทำที่แตกต่างกันหรือโดเมนที่แตกต่างกันของงาน (นอกเหนือจากโดเมนครัวเรือน)
• ชุดย่อยของตัวอย่างที่อธิบายด้วยตนเองที่รวบรวมโดยกระดาษ VirtualHome ถูกใช้เป็นตัวอย่างที่มีอยู่ในพรอมต์ พวกเขาจะถูกเปลี่ยนเป็นรูปแบบภาษาธรรมชาติและเก็บไว้ใน available_examples.json อย่าลังเลที่จะเปลี่ยนไฟล์นี้สำหรับชุดตัวอย่างที่มีอยู่