bocoel

☂ bocoel

การเพิ่มประสิทธิภาพแบบเบย์เป็นเครื่องมือครอบคลุมสำหรับการประเมินแบบจำลองภาษาขนาดใหญ่

- ทำไมต้อง Bocoel?

แบบจำลองภาษาขนาดใหญ่มีราคาแพงและช้าและการประเมินพวกเขาในชุดข้อมูลที่ทันสมัยขนาดมหึมาทำให้แย่ลงเท่านั้น

หากมีวิธีการเลือกชุดย่อยที่มีความหมาย ( และเล็ก ) ของคลังข้อมูลและได้รับการประเมินที่แม่นยำสูง .....

เดี๋ยวก่อนฟังดูเหมือนการเพิ่มประสิทธิภาพแบบเบย์!

Bocoel ทำงานในขั้นตอนต่อไปนี้:

1. เข้ารหัสแต่ละรายการใน EMBEDDINGS (วิธีที่ถูกกว่า / เร็วกว่า LLM และนำกลับมาใช้ใหม่)
2. ใช้การเพิ่มประสิทธิภาพแบบเบย์เพื่อเลือกแบบสอบถามเพื่อประเมิน
3. ใช้การสืบค้นเพื่อดึงข้อมูลจากคลังข้อมูลของเรา (ด้วยการฝังที่เข้ารหัส)
4. กำไร.

การประเมินผลที่สร้างขึ้นนั้นได้รับการจัดการอย่างง่ายดายโดย Utility Manager ที่ให้ไว้

สำหรับความรู้ของเรานี่เป็นงานแรกที่มีวัตถุประสงค์เพื่อลดค่าใช้จ่ายในการคำนวณในระหว่างการประเมินผล (การเปรียบเทียบ) ด้วยงบประมาณ (อาจเป็นแบบไดนามิก)

คุณสมบัติ

• ประเมินแบบจำลองภาษาขนาดใหญ่อย่างแม่นยำด้วยตัวอย่างเพียงสิบตัวอย่างจากคลังข้อมูลที่คุณเลือก
• ? ‍♂ ใช้พลังของการเพิ่มประสิทธิภาพแบบเบย์เพื่อเลือกชุดย่อยที่ดีที่สุดของตัวอย่างสำหรับแบบจำลองภาษาเพื่อประเมิน
• - ประเมินคลังข้อมูลในแบบจำลองนอกเหนือจากการประเมินแบบจำลองบนคลังข้อมูล
• - สนับสนุน GPT2 , Pythia , LLAMA และอื่น ๆ ผ่านการรวมเข้ากับ HuggingFace Transformers และชุดข้อมูล
• - การออกแบบแบบแยกส่วน
• - การเป็นตัวแทนที่มีประสิทธิภาพของชุดข้อมูลคลังข้อมูลเช่นการแสดง N-sphere หรือการฟอกสีขาวของพื้นที่แฝงเพื่อเพิ่มคุณภาพการประเมิน

ให้ดาวกับเรา!

ชอบสิ่งที่คุณเห็น? โปรดพิจารณาให้ดาวนี้ (★)!

♾การเพิ่มประสิทธิภาพแบบเบย์

พูดง่ายๆคือการเพิ่มประสิทธิภาพแบบเบย์มีจุดมุ่งหมายเพื่อเพิ่มประสิทธิภาพวัตถุประสงค์การสำรวจ (พื้นที่สีม่วงในภาพ) หรือวัตถุที่แสวงหาผลประโยชน์ (ความสูงของจุดสีดำ) มันใช้กระบวนการเกาส์เป็นกระดูกสันหลังสำหรับการอนุมานและใช้ ฟังก์ชั่นการได้มา เพื่อตัดสินใจว่าจะสุ่มตัวอย่างที่ไหนต่อไป ดูที่นี่เพื่อแนะนำในเชิงลึกมากขึ้น

เนื่องจาก การเพิ่มประสิทธิภาพแบบเบย์ทำงานได้ดีกับโมเดลกล่องดำที่มีราคาแพงถึงประเมิน (การถอดความ: LLM) จึงเหมาะสำหรับกรณีการใช้งานนี้โดยเฉพาะ Bocoel ใช้การเพิ่มประสิทธิภาพแบบเบย์เป็นกระดูกสันหลังสำหรับการสำรวจพื้นที่ฝังตัวที่กำหนดโดยคลังข้อมูลของเราซึ่งช่วยให้สามารถเลือกชุดย่อยที่ดีที่ทำหน้าที่เป็นภาพรวมขนาดเล็กของคลังข้อมูล

? ️ผลการปฏิบัติงาน

LLMs ช้าอย่างเจ็บปวดโดยเฉพาะอย่างยิ่งการกำเนิด (ซึ่งเป็นสิ่งที่มักเรียกว่า LLM) เนื่องจากการสร้างลำดับเป็นลำดับโดยธรรมชาติ

แม้จะมีข้อกำหนดของ bocoel ในการใช้ Embedder เพื่อเข้ารหัสคลังข้อมูลทั้งหมด แต่ embedders นั้นเร็วกว่า LLM โดยคำสั่งของขนาดและเวลาได้รับกลับมาโดยการออมใด ๆ ในการประเมิน LLMS

การติดตั้ง

ฉันไม่ต้องการการพึ่งพาทางเลือก:

 pip install bocoel

ให้ประสบการณ์เต็มรูปแบบ (การพึ่งพาตัวเลือกทั้งหมด):

 pip install "bocoel[all]"

- การใช้งาน

ดูตัวอย่างโฟลเดอร์/รับ _Started สำหรับการใช้งานง่ายของไลบรารีเพื่อเริ่มต้นด้วยรหัสเพียงไม่กี่บรรทัด

✍พัฒนาด้วย bocoel

ตัวอย่างการใช้งานอยู่ภายใต้ examples โฟลเดอร์ การอ้างอิง API สามารถพบได้ที่นี่

- การบริจาค

ผู้มีส่วนร่วมต้องการ! อย่าอาย อย่าลังเลที่จะยื่นปัญหาและ PRS สำหรับ PRS โปรดทำตามคำแนะนำเกี่ยวกับการบริจาคและจรรยาบรรณ การเปิดกว้างและความละม้ายคล้ายคลึงกันอย่างจริงจัง

️ Roadmap: ทำงานระหว่างดำเนินการ

• - การใช้งานง่ายขึ้น ฉันควรจัดให้มีเสื้อคลุมระดับสูงสำหรับการประเมิน Library ST ทั้งหมดสามารถทำงานได้ในบรรทัดเดียว
• โมดูลการสร้างภาพข้อมูลของการประเมินผล
• - การรวมวิธีทางเลือก (สุ่ม, kmedoids ... ) กับกระบวนการเกาส์
• - การรวมเข้ากับแบ็กเอนด์มากขึ้นเช่น VLLM และ API ของ OpenAI
• - สนับสนุน Python 3.12+

️ใบอนุญาตและการอ้างอิง

รหัสนี้มีอยู่ภายใต้ใบอนุญาต BSD-3

หากคุณพบว่าโครงการนี้มีประโยชน์ในการวิจัยของคุณโปรดอ้างอิงงานนี้ที่

 @misc{bocoel2024,
    title = {BoCoEL: Bayesian Optimization as a Coverage Tool for Evaluating Large Language Models},
    url = {https://bocoel.rentruewang.com/research/},
    author = {Wang, RenChu},
    month = {January},
    year = {2024}
}