evalplus
valPlus v0.3.1
EvalPlus() =>เกี่ยวกับ•การเริ่มต้นอย่างรวดเร็ว•แบ็กเอนด์ LLM •เอกสาร•การอ้างอิง•การรับทราบ
ใครใช้ชุดข้อมูล EvalPlus EvalPlus ถูกใช้โดยทีม LLM ต่างๆรวมถึง:
ด้านล่างติดตามการอัปเดตที่โดดเด่นของ EvalPlus:
v0.3.1 ] : EvalPlus v0.3.1 ได้รับการปล่อยตัวอย่างเป็นทางการ! ไฮไลต์: (i) การประเมินประสิทธิภาพของรหัสผ่าน Evalperf, (ii) คำสั่งหนึ่งคำสั่งที่จะเรียกใช้ทั้งหมด: Generation + Post-Processing + Evaluation, (iii) สนับสนุนแบ็กเอนด์การอนุมานเพิ่มเติมเช่น Google Gemini และมานุษยวิทยา ฯลฯv0.3.0 ] : ปรับปรุงโซลูชันการทำจริงพื้นดินสำหรับ MBPP+ งาน (IDS: 459, 102, 559) ขอบคุณ Evalarenav0.3.0 ] : MBPP+ ได้รับการอัพเกรดเป็น v0.2.0 โดยการลบงานที่เสีย (399-> 378 งาน) ~ 4pp Pass@1 สามารถคาดหวังการปรับปรุงได้v0.2.1 ) คุณสามารถใช้ชุดข้อมูล EvalPlus ผ่านทาง BigCode-Evaluation-Harness! Humaneval+ Oracle Fixes (32)v0.2.0 ) MBPP+ เปิดตัว! การแก้ไขสัญญาและอินพุต Humaneval (0/3/9/148/114/1/2/99/28/32/35/160)v0.1.7 ) การเปิดตัวกระดานผู้นำ; Humaneval+ สัญญาและการแก้ไขอินพุต (32/166/126/6)v0.1.6 ) การตั้งค่าการหมดเวลาการหมดเวลาแบบกำหนดเวลาและการอนุรักษ์ Humaneval+ Contract & Ground-Truth Fixes (129/148/75/53/0/3/9/140)v0.1.5 ) Humaneval+ Mini ได้รับการปล่อยตัวเพื่อการประเมินผลเร็วเป็นพิเศษเมื่อคุณมีตัวอย่างมากเกินไป!v0.1.1 ) การเพิ่มประสิทธิภาพประสบการณ์ของผู้ใช้: ความเร็วในการประเมิน, แพ็คเกจ PYPI, Docker ฯลฯv0.1.0 ) Humaneval+ ได้รับการปล่อยตัว! EvalPlus เป็นกรอบการประเมินที่เข้มงวดสำหรับ LLM4Code ด้วย:
ทำไม EvalPlus?
ต้องการทราบรายละเอียดเพิ่มเติมหรือไม่? อ่านเอกสารและวัสดุของเรา!
pip install --upgrade " evalplus[vllm] @ git+https://github.com/evalplus/evalplus "
# Or `pip install "evalplus[vllm]" --upgrade` for the latest stable release
evalplus.evaluate --model " ise-uiuc/Magicoder-S-DS-6.7B "
--dataset [humaneval | mbpp]
--backend vllm
--greedy # Local generation
evalplus.codegen --model " ise-uiuc/Magicoder-S-DS-6.7B "
--dataset humaneval
--backend vllm
--greedy
# Code execution within Docker
docker run --rm --pull=always -v $( pwd ) /evalplus_results:/app ganler/evalplus:latest
evalplus.evaluate --dataset humaneval
--samples /app/humaneval/ise-uiuc--Magicoder-S-DS-6.7B_vllm_temp_0.0.jsonlpip install --upgrade " evalplus[perf,vllm] @ git+https://github.com/evalplus/evalplus "
# Or `pip install "evalplus[perf,vllm]" --upgrade` for the latest stable release
sudo sh -c ' echo 0 > /proc/sys/kernel/perf_event_paranoid ' # Enable perf
evalplus.evalperf --model " ise-uiuc/Magicoder-S-DS-6.7B " --backend vllm # Local generation
evalplus.codegen --model " ise-uiuc/Magicoder-S-DS-6.7B "
--dataset evalperf
--backend vllm
--temperature 1.0
--n-samples 100
# Code execution within Docker
sudo sh -c ' echo 0 > /proc/sys/kernel/perf_event_paranoid ' # Enable perf
docker run --cap-add PERFMON --rm --pull=always -v $( pwd ) /evalplus_results:/app ganler/evalplus:latest
evalplus.evalperf --samples /app/evalperf/ise-uiuc--Magicoder-S-DS-6.7B_vllm_temp_1.0.jsonltransformers : evalplus.evaluate --model " ise-uiuc/Magicoder-S-DS-6.7B "
--dataset [humaneval | mbpp]
--backend hf
--greedyบันทึก
EvalPlus ใช้พรอมต์ที่แตกต่างกันสำหรับโมเดลฐานและแชท โดยค่าเริ่มต้นจะถูกตรวจพบโดย tokenizer.chat_template เมื่อใช้ hf / vllm เป็นแบ็กเอนด์ สำหรับแบ็กเอนด์อื่น ๆ อนุญาตให้ใช้โหมดแชทเท่านั้น
ดังนั้นหากรุ่นพื้นฐานของคุณมาพร้อมกับ tokenizer.chat_template โปรดเพิ่ม --force-base-prompt เพื่อหลีกเลี่ยงการประเมินในโหมดแชท
# Install Flash Attention 2
pip install packaging ninja
pip install flash-attn --no-build-isolation
# Note: if you have installation problem, consider using pre-built
# wheels from https://github.com/Dao-AILab/flash-attention/releases
# Run evaluation with FA2
evalplus.evaluate --model " ise-uiuc/Magicoder-S-DS-6.7B "
--dataset [humaneval | mbpp]
--backend hf
--attn-implementation [flash_attention_2 | sdpa]
--greedyvllm : evalplus.evaluate --model " ise-uiuc/Magicoder-S-DS-6.7B "
--dataset [humaneval | mbpp]
--backend vllm
--tp [TENSOR_PARALLEL_SIZE]
--greedyopenai (เช่น VLLM): # OpenAI models
export OPENAI_API_KEY= " {KEY} " # https://platform.openai.com/settings/organization/api-keys
evalplus.evaluate --model " gpt-4o-2024-08-06 "
--dataset [humaneval | mbpp]
--backend openai --greedy
# DeepSeek
export OPENAI_API_KEY= " {KEY} " # https://platform.deepseek.com/api_keys
evalplus.evaluate --model " deepseek-chat "
--dataset [humaneval | mbpp]
--base-url https://api.deepseek.com
--backend openai --greedy
# Grok
export OPENAI_API_KEY= " {KEY} " # https://console.x.ai/
evalplus.evaluate --model " grok-beta "
--dataset [humaneval | mbpp]
--base-url https://api.x.ai/v1
--backend openai --greedy
# vLLM server
# First, launch a vLLM server: https://docs.vllm.ai/en/latest/serving/deploying_with_docker.html
evalplus.evaluate --model " ise-uiuc/Magicoder-S-DS-6.7B "
--dataset [humaneval | mbpp]
--base-url http://localhost:8000/v1
--backend openai --greedy export OPENAI_API_KEY= " [YOUR_API_KEY] "
evalplus.evaluate --model " gpt-4o "
--dataset [humaneval | mbpp]
--backend openai
--greedy export ANTHROPIC_API_KEY= " [YOUR_API_KEY] "
evalplus.evaluate --model " claude-3-haiku-20240307 "
--dataset [humaneval | mbpp]
--backend anthropic
--greedy export GOOGLE_API_KEY= " [YOUR_API_KEY] "
evalplus.evaluate --model " gemini-1.5-pro "
--dataset [humaneval | mbpp]
--backend google
--greedy export BEDROCK_ROLE_ARN= " [BEDROCK_ROLE_ARN] "
evalplus.evaluate --model " anthropic.claude-3-5-sonnet-20241022-v2:0 "
--dataset [humaneval | mbpp]
--backend bedrock
--greedy คุณสามารถชำระเงินในการสร้างและผลลัพธ์ที่ evalplus_results/[humaneval|mbpp]/
git clone https://github.com/evalplus/evalplus.git
cd evalplus
export PYTHONPATH= $PYTHONPATH : $( pwd )
pip install -r requirements.txtหากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการใช้ EvalPlus โปรดดูที่:
@inproceedings { evalplus ,
title = { Is Your Code Generated by Chat{GPT} Really Correct? Rigorous Evaluation of Large Language Models for Code Generation } ,
author = { Liu, Jiawei and Xia, Chunqiu Steven and Wang, Yuyao and Zhang, Lingming } ,
booktitle = { Thirty-seventh Conference on Neural Information Processing Systems } ,
year = { 2023 } ,
url = { https://openreview.net/forum?id=1qvx610Cu7 } ,
}
@inproceedings { evalperf ,
title = { Evaluating Language Models for Efficient Code Generation } ,
author = { Liu, Jiawei and Xie, Songrun and Wang, Junhao and Wei, Yuxiang and Ding, Yifeng and Zhang, Lingming } ,
booktitle = { First Conference on Language Modeling } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=IBCBMeAhmC } ,
}
