chatarena

สภาพแวดล้อมเกมภาษาหลายเส้นสำหรับ LLMS

---

Chatarena เป็นห้องสมุดที่ให้บริการเกมภาษาหลายเอเจนต์และอำนวยความสะดวกในการวิจัยเกี่ยวกับตัวแทน LLM อิสระและการโต้ตอบทางสังคมของพวกเขา มันมีคุณสมบัติต่อไปนี้:

• Abstraction : มันให้กรอบความยืดหยุ่นในการกำหนดผู้เล่นหลายคนสภาพแวดล้อมและการโต้ตอบระหว่างพวกเขาขึ้นอยู่กับกระบวนการตัดสินใจของมาร์คอฟ
• สภาพแวดล้อมของเกมภาษา : มีชุดของสภาพแวดล้อมที่สามารถช่วยทำความเข้าใจการเปรียบเทียบหรือตัวแทนฝึกอบรม LLMS
• อินเทอร์เฟซที่ใช้งานง่าย : มีทั้ง Web UI และ CLI ในการพัฒนา/วิศวกรที่รวดเร็วตัวแทน LLM ของคุณเพื่อดำเนินการในสภาพแวดล้อม

เริ่มต้น

ลองสาธิตออนไลน์ของเรา:

การติดตั้ง

ความต้องการ:

• Python> = 3. 7
• คีย์ OpenAI API (ไม่บังคับสำหรับการใช้ GPT-3.5-turbo หรือ GPT-4 เป็นตัวแทน LLM)

ติดตั้งด้วย PIP:

pip install chatarena

หรือติดตั้งจากแหล่งที่มา:

pip install git+https://github.com/chatarena/chatarena

หากต้องการใช้ GPT-3 เป็นตัวแทน LLM ให้ตั้งค่าคีย์ OpenAI API ของคุณ:

 export OPENAI_API_KEY= " your_api_key_here " 

การพึ่งพาตัวเลือก

โดยค่าเริ่มต้น pip install chatarena จะติดตั้งเฉพาะการพึ่งพาที่จำเป็นสำหรับฟังก์ชันหลักของ Chatarena คุณสามารถติดตั้งการพึ่งพาตัวเลือกด้วยคำสั่งต่อไปนี้:

pip install chatarena[all_backends] # install dependencies for all supported backends: anthropic, cohere, huggingface, etc.
pip install chatarena[all_envs]     # install dependencies for all environments, such as pettingzoo
pip install chatarena[all]          # install all optional dependencies for full functionality

เปิดการสาธิตในพื้นที่

วิธีที่เร็วที่สุดในการดูการทำงานของ Chatarena คือผ่าน Demo Web UI ในการเปิดตัวการสาธิตบนเครื่องในพื้นที่ของคุณคุณจะติดตั้ง Chatarena ครั้งแรกด้วยการพึ่งพา Gradio เพิ่มเติมจากนั้น git clone ที่เก็บนี้ไปยังโฟลเดอร์ท้องถิ่นของคุณและในที่สุดก็เรียก app.py ในไดเรกทอรีรากของที่เก็บ:

pip install chatarena[gradio]
git clone https://github.com/chatarena/chatarena.git
cd chatarena
gradio app.py

สิ่งนี้จะเปิดตัวเซิร์ฟเวอร์ตัวอย่างสำหรับ Chatarena และคุณสามารถเข้าถึงได้จากเบราว์เซอร์ของคุณ (พอร์ต 8080)

ลองดูวิดีโอนี้เพื่อเรียนรู้วิธีใช้ Web UI:

สำหรับนักพัฒนา

สำหรับการแนะนำกรอบ Chatarena โปรดดูเอกสารนี้ สำหรับคำแนะนำในการสร้างสภาพแวดล้อมใหม่ให้ตรวจสอบ

ที่นี่เรามีคู่มือขนาดกะทัดรัดเกี่ยวกับการตั้งค่าขั้นต่ำเพื่อเรียกใช้เกมและคำแนะนำทั่วไปเกี่ยวกับการปรับแต่ง

แนวคิดหลัก

1. Arena : Arena ห่อหุ้มสภาพแวดล้อมและคอลเลกชันของผู้เล่น มันขับเคลื่อนการวนรอบหลักของเกมและให้บริการยูทิลิตี้ HCI เช่น WebUI, CLI, การโหลดการกำหนดค่าและการจัดเก็บข้อมูล
2. สภาพแวดล้อม : สภาพแวดล้อมเก็บสถานะเกมและดำเนินการลอจิคส์เกมเพื่อทำการเปลี่ยนระหว่างสถานะเกม นอกจากนี้ยังแสดงการสังเกตการณ์สำหรับผู้เล่นการสังเกตเป็นภาษาธรรมชาติ
   1. สถานะของเกมไม่สามารถมองเห็นได้โดยตรงกับผู้เล่น ผู้เล่นสามารถเห็นการสังเกตเท่านั้น
3. แบ็กเอนด์ภาษา : แบ็กเอนด์ภาษาเป็นที่มาของความฉลาดทางภาษา ต้องใช้ข้อความ (หรือการรวบรวมข้อความ) เป็นอินพุตและส่งคืนข้อความในการตอบสนอง
4. ผู้เล่น : ผู้เล่นเป็นตัวแทนที่เล่นเกม ในคำศัพท์ RL มันเป็นนโยบายการทำแผนที่ฟังก์ชั่นไร้สัญชาติจากการสังเกตไปจนถึงการกระทำ

เรียกใช้เกมด้วย Python API

โหลด Arena จากไฟล์ config-ที่นี่เราใช้ examples/nlp-classroom-3players.json ในที่เก็บนี้เป็นตัวอย่าง:

 arena = Arena . from_config ( "examples/nlp-classroom-3players.json" )
arena . run ( num_steps = 10 )

เรียกใช้เกมในอินเทอร์เฟซ CLI แบบโต้ตอบ:

 arena . launch_cli ()

ลองดูวิดีโอนี้เพื่อเรียนรู้วิธีการใช้ CLI: คู่มือรายละเอียดเพิ่มเติมเกี่ยวกับวิธีเรียกใช้การโต้ตอบหลักที่มีการควบคุมแบบละเอียดกว่าสามารถดูได้ที่นี่

คำแนะนำการปรับแต่งทั่วไป

1. Arena : Overriding Arena โดยทั่วไปหมายถึงคนหนึ่งกำลังจะเขียนห่วงหลักของตัวเอง ซึ่งจะช่วยให้อินเทอร์เฟซการโต้ตอบที่แตกต่างกันหรือเกมไดรฟ์ในลักษณะอัตโนมัติมากขึ้นตัวอย่างเช่นการรันลูปการฝึกอบรม RL ออนไลน์
2. สภาพแวดล้อม : สภาพแวดล้อมใหม่สอดคล้องกับเกมใหม่เราสามารถกำหนดไดนามิกของเกมได้ที่นี่ด้วยกฎที่ใช้รหัสยากหรือส่วนผสมของกฎและแบ็กเอนด์ภาษา
3. แบ็กเอนด์ : หากต้องการเปลี่ยนวิธีการจัดรูปแบบการสังเกต (ในแง่ของข้อความ) เป็นแบบสอบถามสำหรับรูปแบบภาษาควรแทนที่
4. ผู้เล่น : โดยค่าเริ่มต้นเมื่อมีการสังเกตใหม่ผู้เล่นจะสอบถามแบ็กเอนด์ภาษาและส่งคืนการตอบกลับเป็นการกระทำ แต่เรายังสามารถปรับแต่งวิธีที่ผู้เล่นโต้ตอบกับแบ็กเอนด์ภาษา

การสร้างสภาพแวดล้อมที่กำหนดเองของคุณ

คุณสามารถกำหนดสภาพแวดล้อมของคุณเองโดยขยายระดับ Environment นี่คือขั้นตอนทั่วไป:

1. กำหนดคลาสโดยสืบทอดจากคลาสพื้นฐานและการตั้งค่า type_name จากนั้นเพิ่มคลาสลงใน ALL_ENVIRONMENTS
2. เริ่มต้นคลาสโดยกำหนดวิธี __init__ (อาร์กิวเมนต์ของมันจะกำหนดค่าการกำหนดค่าที่สอดคล้องกัน) และการเริ่มต้นแอตทริบิวต์คลาส
3. ใช้กลไกเกมใน step วิธีการ
4. จัดการสถานะของเกมและรางวัลโดยใช้วิธีการเช่น reset , get_observation , is_terminal และ get_rewards
5. พัฒนาคำอธิบายบทบาทพร้อมท์ (และพรอมต์ทั่วโลกหากจำเป็น) สำหรับผู้เล่นที่ใช้ CLI หรือ Web UI และบันทึกไว้ในไฟล์กำหนดค่า

เราให้บริการการสอนโดยละเอียดเพื่อสาธิตวิธีการกำหนดสภาพแวดล้อมที่กำหนดเองโดยใช้สภาพแวดล้อม Chameleon เป็นตัวอย่าง

หากคุณต้องการพอร์ตสภาพแวดล้อมของห้องสมุดที่มีอยู่ไปยัง Chatarena ให้ตรวจสอบสภาพแวดล้อม PettingzooChess เป็นตัวอย่าง

รายการสภาพแวดล้อม

การสนทนา

สภาพแวดล้อมเกมภาษาหลายผู้เล่นที่จำลองการสนทนา

• ห้องเรียน NLP: สภาพแวดล้อมเกมภาษา 3 ผู้เล่นที่จำลองการตั้งค่าห้องเรียน เกมดังกล่าวถูกเล่นและผู้เล่นแต่ละคนสามารถถามคำถามหรือตอบคำถามได้ เกมจบลงเมื่อผู้เล่นทุกคนถามและตอบคำถามทั้งหมด

การสนทนาผู้ดูแล

ขึ้นอยู่กับการสนทนา แต่ด้วยผู้ดูแลที่ควบคุมการเปลี่ยนแปลงของเกม

• Rock-Paper-scissors: สภาพแวดล้อมเกมภาษา 2 ผู้เล่นที่จำลองเกม-กระดาษกรรไกรหินด้วยการสนทนาผู้ดูแล ผู้เล่นทั้งสองจะทำหน้าที่ขนานกันและเกมจะจบลงเมื่อผู้เล่นคนหนึ่งชนะ 2 รอบ
• TIC-TAC-TOE: สภาพแวดล้อมเกมภาษา 2 ผู้เล่นที่จำลองเกม TIC-TAC-TOE พร้อมการสนทนาผู้ดูแล เกมดังกล่าวถูกเล่นและแต่ละรอบผู้เล่นสามารถขอย้ายหรือย้าย เกมจบลงเมื่อผู้เล่นคนหนึ่งชนะหรือบอร์ดเต็ม

กิ้งก่า

เกมการหักเงินเพื่อสังคมหลายผู้เล่น มีสองบทบาทในเกม Chameleon และ Non-Chameleon หัวข้อของคำลับจะถูกเปิดเผยเป็นครั้งแรกกับผู้เล่นทุกคน จากนั้นคำลับจะถูกเปิดเผยไปยังที่ไม่ใช่ chameleons กิ้งก่าไม่ทราบคำลับ วัตถุประสงค์ในเกมขึ้นอยู่กับบทบาทของผู้เล่น:

• หากคุณไม่ใช่กิ้งก่าเป้าหมายของคุณคือการเปิดเผยกิ้งก่าโดยไม่เปิดเผยคำลับ
• หากคุณเป็นกิ้งก่าเป้าหมายของคุณคือการผสมผสานกับผู้เล่นคนอื่นหลีกเลี่ยงการถูกจับและหาคำลับ มีสามขั้นตอนในเกม:

1. ขั้นตอนการให้เบาะแส: ผู้เล่นแต่ละคนจะอธิบายเบาะแสเกี่ยวกับคำลับ
2. ขั้นตอนการกล่าวหา: ในขั้นตอนนี้ผู้เล่นแต่ละคนจะลงคะแนนให้ผู้เล่นคนอื่นที่น่าจะเป็นกิ้งก่า กิ้งก่าควรลงคะแนนให้ผู้เล่นคนอื่น
3. ขั้นตอนการคาดเดา: หากข้อกล่าวหาถูกต้องกิ้งก่าควรเดาคำลับที่ได้รับเบาะแสที่เปิดเผยโดยผู้เล่นคนอื่น

Pettingzoochess

สภาพแวดล้อมเกมหมากรุกผู้เล่นสองคนที่ใช้สภาพแวดล้อมหมากรุก Pettingzoo

pettingzoo tictactoe

สภาพแวดล้อมเกม Tic-Tac-toe สองคนที่ใช้สภาพแวดล้อม Pettingzoo Tictactoe แตกต่างจากสภาพแวดล้อม Moderator Conversation สภาพแวดล้อมนี้ถูกขับเคลื่อนด้วยกฎที่ใช้รหัสยากมากกว่าผู้ดำเนินรายการ LLM

การบริจาค

เรายินดีต้อนรับการมีส่วนร่วมในการปรับปรุงและขยาย Chatarena โปรดทำตามขั้นตอนเหล่านี้เพื่อมีส่วนร่วม:

1. แยกที่เก็บ
2. สร้างสาขาใหม่สำหรับคุณสมบัติหรือ Fix ของคุณ
3. กระทำการเปลี่ยนแปลงของคุณไปยังสาขาใหม่
4. สร้างคำขอดึงที่อธิบายการเปลี่ยนแปลงของคุณ
5. เราจะตรวจสอบคำขอดึงของคุณและให้ข้อเสนอแนะหรือรวมการเปลี่ยนแปลงของคุณ

โปรดตรวจสอบให้แน่ใจว่ารหัสของคุณเป็นไปตามสไตล์และโครงสร้างที่มีอยู่

การอ้างอิง

หากคุณพบว่า Chatarena มีประโยชน์สำหรับการวิจัยของคุณโปรดอ้างอิงที่เก็บของเรา (กระดาษ Arxiv ของเรากำลังจะมาเร็ว ๆ นี้):

 @software { ChatArena ,
  author = { Yuxiang Wu, Zhengyao Jiang, Akbir Khan, Yao Fu, Laura Ruis, Edward Grefenstette, and Tim Rocktäschel } ,
  title = { ChatArena: Multi-Agent Language Game Environments for Large Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.1 } ,
  howpublished = { url{https://github.com/chatarena/chatarena} } ,
}

ติดต่อ

หากคุณมีคำถามหรือข้อเสนอแนะอย่าลังเลที่จะเปิดปัญหาหรือส่งคำขอดึง นอกจากนี้คุณยังสามารถติดต่อเราได้ที่ Farama Discord Server- https://discord.gg/vrtdmu9y8q

มีความสุขในการแชท!

ผู้สนับสนุน

เราขอขอบคุณผู้สนับสนุนของเราที่ให้การสนับสนุนโครงการนี้:

• Sequoia
• เมืองหลวงของ Shixiang