promptolution

การแก้ปัญหา

Profting การแก้ปัญหาเป็นไลบรารีที่ให้เฟรมเวิร์กแบบแยกส่วนและขยายได้สำหรับการใช้การทดลองการปรับจูน มันมีอินเทอร์เฟซที่ใช้งานง่ายเพื่อรวบรวมส่วนประกอบหลักสำหรับงานการเพิ่มประสิทธิภาพที่หลากหลาย

นอกจากนี้พื้นที่เก็บข้อมูลนี้ยังมีการทดลองของเราสำหรับกระดาษ "ไปสู่การปรับแต่งพร้อมที่มีประสิทธิภาพ: การประเมินผลกระทบของขนาดรุ่นตระกูลโมเดลและคำอธิบายงานใน Evoprompt"

โครงการนี้ได้รับการพัฒนาโดย Timo Heiß, Moritz Schlager และ Tom Zehle

การติดตั้ง

ใช้ PIP เพื่อติดตั้งไลบรารีของเรา:

 pip install promptolution

อีกทางเลือกหนึ่งโคลนที่เก็บ

 poetry install

เพื่อติดตั้งการพึ่งพาที่จำเป็น คุณอาจต้องติดตั้ง PIPX และบทกวีก่อน

เอกสาร

เอกสารที่ครอบคลุมพร้อมการอ้างอิง API คือ Availabe ที่ https://finitearth.github.io/promptolution/

การใช้งาน

สร้างคีย์ API สำหรับรุ่นที่คุณต้องการใช้:

• Openai: เก็บโทเค็นใน openaitoken.txt
• มานุษยวิทยา: เก็บโทเค็นใน anthropictoken.txt
• Deepinfra (สำหรับ llama): ร้านค้าโทเค็นใน deepinfratoken.txt

อัลกอริทึมการเพิ่มประสิทธิภาพให้เลือก

ชื่อ	# ประชากรเริ่มต้น	การสำรวจ	ค่าใช้จ่าย	ความเร็วคอนเวอร์เจนซ์	สามารถขนานกันได้	ใช้ประโยชน์จากกรณีความล้มเหลว
Evoprompt de	8-12	-	-
Evoprompt GA	8-12	-	-
โอพีโร	0	-	-

ส่วนประกอบหลัก

• ภารกิจ: สรุปการแจ้งเตือนเริ่มต้นคุณสมบัติชุดข้อมูลเป้าหมายและวิธีการประเมินผล
• ตัวทำนาย: ใช้ตรรกะการทำนายการเชื่อมต่อระหว่างงานและส่วนประกอบ LLM
• LLM: รวมกระบวนการรับการตอบกลับจากแบบจำลองภาษาไม่ว่าจะเป็นโฮสต์หรือเข้าถึงได้ในท้องถิ่นผ่าน API
• Optimizer: ใช้อัลกอริทึมการเพิ่มประสิทธิภาพที่รวดเร็วโดยใช้ส่วนประกอบอื่น ๆ ในระหว่างกระบวนการปรับให้เหมาะสม
• ตัวเลือกแบบอย่าง: ใช้อัลกอริทึมสำหรับการค้นหาตัวอย่างช็อตสองสามตัวอย่างที่เพิ่มลงในพรอมต์

คุณสมบัติที่สำคัญ

• การออกแบบแบบแยกส่วนและเชิงวัตถุ
• สถาปัตยกรรมที่ขยายได้
• อินเทอร์เฟซที่ใช้งานง่ายสำหรับการทดลองประกอบ
• คำขอ LLM แบบขนานเพื่อประสิทธิภาพที่ดีขึ้น
• การรวมเข้ากับ Langchain สำหรับการโทร LLM API ที่ได้มาตรฐาน
• การบันทึกรายละเอียดและระบบการโทรกลับสำหรับการวิเคราะห์การเพิ่มประสิทธิภาพ

เริ่มต้น

ดูสมุดบันทึกการเริ่มต้นใช้งานของเรา: Geting_started.py

ทำซ้ำการทดลองของเรา

เราให้บริการสคริปต์และการกำหนดค่าสำหรับการทดลองทั้งหมดของเรา เรียกใช้การทดลองตามการกำหนดค่าผ่าน:

 poetry run python scripts/experiment_runs.py --experiment "configs/<my_experiment>.ini"

โดยที่ <my_experiment>.ini เป็นแบบกำหนดค่าตามเทมเพลตของเรา

โครงการนี้ได้รับการพัฒนาสำหรับการสัมมนา "AutomL ในยุคของรุ่นที่ผ่านการฝึกอบรมมาก่อน" ที่ LMU Munich