scaleeval

ScaleEval: การประเมินอภิมานที่ปรับขนาดได้ของ LLMS เป็นผู้ประเมินผ่านการอภิปรายตัวแทน

ที่เก็บนี้มีซอร์สโค้ดและลิงก์ไปยังกระดาษของเรา

ScaleEval เป็นเฟรมเวิร์ก Meta-Evaluation ที่ได้รับความช่วยเหลือจากการเบี่ยงเบนความช่วยเหลือซึ่งใช้ประโยชน์จากความสามารถของตัวแทน LLM การสื่อสารหลายรายการ เฟรมเวิร์กนี้รองรับการสนทนาหลายรอบเพื่อช่วยเหลือมนุษย์ในการตรวจสอบผู้ประเมินที่ใช้ LLM ที่มีความสามารถมากที่สุด ผู้ใช้สามารถจัดหาการส่ง LLM เกณฑ์และสถานการณ์ด้วยกรอบของเราเพื่อดำเนินการประเมินอภิมาน

เริ่มต้นใช้งาน

pip install scaleeval
export OPENAI_API_KEY=XXXX.YYYY.ZZZ
export ANTHROPIC_API_KEY=XXXX.YYYY.ZZZ

ต้องใช้ Python 3.9+

สำหรับนักพัฒนา

ติดตั้งเป็นนักพัฒนา

git clone [email protected]:GAIR-NLP/scaleeval.git
cd scaleeval
pip install -e .

# install pre-commit hooks
pip install pre-commit
pre-commit install

เรียกใช้

 # this is necessary before you commit
git init
git add .
pre-commit run

เรียกใช้การประเมินอภิมาน

 cd scaleeval
python evaluation.py

เกณฑ์ตัวอย่าง

• criteria/metaeval_creativity : การให้คะแนน 1 ถึง 5 สำหรับการส่ง LLM แต่ละครั้งขึ้นอยู่กับเกณฑ์ความคิดสร้างสรรค์และตัดสินใจว่าการส่งใดดีกว่า
• criteria/metaeval_helpfulness : การให้คะแนน 1 ถึง 5 สำหรับการส่ง LLM แต่ละครั้งตามเกณฑ์ความช่วยเหลือและตัดสินใจว่าการส่งใดดีกว่า
• criteria/metaeval_interpretability : การให้คะแนน 1 ถึง 5 สำหรับการส่ง LLM แต่ละครั้งขึ้นอยู่กับความสามารถในการตีความและตัดสินใจว่าการส่งใดดีกว่า
• criteria/metaeval_reasoning : การให้คะแนน 1 ถึง 5 สำหรับการส่ง LLM แต่ละครั้งขึ้นอยู่กับเกณฑ์การใช้เหตุผลและตัดสินใจว่าการส่งใดดีกว่า

ตัวอย่างคำถาม LLM และการส่ง

• scaleeval/responses/gpt3.5/brainstorming.jsonl : การตอบสนองที่สร้างขึ้นจาก GPT3.5-turbo ตามพรอมต์ในสถานการณ์การระดมสมอง
• scaleeval/responses/claude-instant/brainstorming.jsonl : การตอบสนองที่สร้างขึ้นจาก Claude-Instant ตามพรอมต์ในสถานการณ์การระดมสมอง

จัดหาเกณฑ์และสถานการณ์ของคุณเอง!

 cd criteria

เพิ่มคำอธิบายเกณฑ์ของคุณเองในไฟล์. yaml ใหม่! ทำตามรูปแบบด้านล่าง:

 criteria :
    [ your defined criteria ]:
        "1" : ...
        "2" : ...
        "3" : ...
        "4" : ...
        "5" : ...

จัดหาการส่ง LLM ของคุณเอง!

รวบรวมการส่ง LLM ของคุณและบันทึกไว้ในไฟล์. jsonl ด้วยรูปแบบต่อไปนี้:

{ "prompt" : ..., "category" : ..., "response" : ...}

นี่คือตัวอย่างหนึ่ง:

{ "prompt" : "Can you tell me how to make chocolate chip cookies?" , "category" : "brainstorming" , "response" : "Certainly! Here's a simple recipe for making chocolate chip cookies: n n Ingredients: n - 1 cup (2 sticks) unsalted butter, softened n - 1 cup granulated sugar n - 1 cup packed brown sugar n - 2 large eggs n - 1 teaspoon vanilla extract n - 3 cups all-purpose flour n - 1 teaspoon baking soda n - 1/2 teaspoon salt n - 2 cups chocolate chips n n Instructions: n 1. Preheat your oven to 350 u00b0 F (175 u00b0 C) and line a baking sheet with parchment paper. n 2. In a large mixing bowl, cream together the softened butter, granulated sugar, and brown sugar until well combined and creamy. n 3. Add the eggs one at a time, beating well after each addition. Then, stir in the vanilla extract. n 4. In a separate bowl, whisk together the flour, baking soda, and salt. Gradually add this dry mixture to the wet ingredients, mixing until just combined. n 5. Fold in the chocolate chips until evenly distributed throughout the dough. n 6. Using a cookie scoop or tablespoon, drop rounded portions of dough onto the prepared baking sheet, spacing them about 2 inches apart. n 7. Bake in the preheated oven for 10-12 minutes, or until the edges are golden brown. The centers may still appear slightly soft, but they will firm up as they cool. n 8. Remove the baking sheet from the oven and let the cookies cool on the sheet for a few minutes before transferring them to a wire rack to cool completely. n 9. Repeat the process with the remaining dough until all the cookies are baked. n n Enjoy your homemade chocolate chip cookies!" }

การอ้างอิง

โปรดพิจารณาอ้างถึงกระดาษของเราหากคุณพบว่าการซื้อคืนและผลลัพธ์ของเรามีประโยชน์!

 @article{chern2024scaleeval,
  title={Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate},
  author={Chern, Steffi and Chern, Ethan and Neubig, Graham and Liu, Pengfei},
  journal={arXiv preprint arXiv:2401.16788},
  year={2024}
}