Pruna AI เป็นการเริ่มต้นจากยุโรปโดยมุ่งเน้นไปที่การพัฒนาอัลกอริทึมการบีบอัดสำหรับโมเดล AI เมื่อเร็ว ๆ นี้ บริษัท ประกาศว่าจะโอเพ่นซอร์สเฟรมเวิร์กการเพิ่มประสิทธิภาพเพื่อช่วยให้นักพัฒนาบีบอัดและโมเดล AI ได้อย่างมีประสิทธิภาพมากขึ้น
กรอบการทำงานที่พัฒนาโดย Pruna AI ผสมผสานวิธีการที่หลากหลายรวมถึงการแคชการตัดแต่งกิ่งปริมาณและการกลั่นเพื่อเพิ่มประสิทธิภาพของโมเดล AI เฟรมเวิร์กนี้ไม่เพียง แต่สร้างมาตรฐานการจัดเก็บและการโหลดของแบบจำลองการบีบอัด แต่ยังประเมินโมเดลที่บีบอัดเพื่อตรวจสอบว่าคุณภาพของมันลดลงอย่างมีนัยสำคัญในขณะที่วัดการปรับปรุงประสิทธิภาพที่เกิดจากการบีบอัด
John Rachwan ผู้ร่วมก่อตั้งและหัวหน้าฝ่ายเทคโนโลยีของ Pruna AI กล่าว บริษัท ขนาดใหญ่เช่น OpenAI ได้ใช้วิธีการบีบอัดหลายวิธีในแบบจำลองของพวกเขาเช่นการใช้การกลั่นเพื่อสร้างรุ่นที่เร็วขึ้นของรุ่นเรือธงของพวกเขา
การกลั่นเป็นเทคโนโลยีที่แยกความรู้ผ่านโมเดล "ครูและนักเรียน" ซึ่งนักพัฒนาส่งคำขอไปยังโมเดลครูและบันทึกผลลัพธ์ ผลลัพธ์เหล่านี้จะถูกใช้เพื่อฝึกอบรมแบบจำลองนักเรียนเพื่อประมาณพฤติกรรมของโมเดลครู Lahwan ตั้งข้อสังเกตว่าในขณะที่ บริษัท ขนาดใหญ่หลายแห่งมีแนวโน้มที่จะสร้างเครื่องมือบีบอัดด้วยตนเองในชุมชนโอเพ่นซอร์สโซลูชั่นที่ใช้วิธีเดียวมักจะพบได้เท่านั้นและ Pruna AI เป็นเครื่องมือที่รวมวิธีการหลายวิธีซึ่งทำให้กระบวนการใช้งานง่ายขึ้นอย่างมาก
ปัจจุบันเฟรมเวิร์กของ Pruna AI รองรับโมเดลที่หลากหลายรวมถึงแบบจำลองภาษาขนาดใหญ่โมเดลการแพร่กระจายโมเดลการจดจำคำพูดและแบบจำลองการมองเห็นคอมพิวเตอร์ แต่ปัจจุบัน บริษัท กำลังมุ่งเน้นไปที่การเพิ่มประสิทธิภาพของรูปแบบการสร้างภาพและวิดีโอ บริษัท ต่าง ๆ เช่น Scenario และ Photoroom ได้ใช้บริการ Pruna AI แล้ว
นอกเหนือจากเวอร์ชันโอเพ่นซอร์ส Pruna AI ยังได้เปิดตัวเวอร์ชันองค์กรที่มีคุณสมบัติการเพิ่มประสิทธิภาพขั้นสูงและตัวแทนการเพิ่มประสิทธิภาพ "คุณสมบัติที่น่าตื่นเต้นที่สุดที่เรากำลังจะเปิดตัวคือตัวแทนการบีบอัดซึ่งผู้ใช้จำเป็นต้องจัดทำโมเดลและตั้งค่าความต้องการความเร็วและความแม่นยำและเอเจนต์จะค้นหาชุดค่าผสมที่ดีที่สุดโดยอัตโนมัติ"
Pruna AI เรียกเก็บค่าธรรมเนียมรายชั่วโมงคล้ายกับวิธีที่ผู้ใช้เช่า GPU ในบริการคลาวด์ ด้วยการใช้โมเดลที่ดีที่สุดธุรกิจสามารถประหยัดเงินได้เป็นจำนวนมากเมื่อให้เหตุผล ตัวอย่างเช่น Pruna AI ประสบความสำเร็จในการลดขนาดของโมเดล Llama ลงแปดครั้งโดยสูญเสียความแม่นยำเพียงเล็กน้อย บริษัท หวังว่าลูกค้าจะสามารถดูกรอบการบีบอัดของมันเป็นการลงทุนที่ได้รับผลตอบแทนในที่สุด
เมื่อเร็ว ๆ นี้ Pruna AI ได้เสร็จสิ้นการจัดหาเงินทุนเมล็ดพันธุ์มูลค่า 6.5 ล้านเหรียญสหรัฐโดยนักลงทุนรวมถึง EQT Ventures, Daphni, Motier Ventures และ Kima Ventures
โครงการ: https://github.com/prunaai/pruna
ประเด็นสำคัญ:
Pruna AI เปิดตัวเฟรมเวิร์กการเพิ่มประสิทธิภาพโอเพนซอร์สที่รวมวิธีการบีบอัดหลายวิธีเพื่อปรับปรุงประสิทธิภาพของโมเดล AI
บริษัท ขนาดใหญ่มักใช้การกลั่นและเทคโนโลยีอื่น ๆ และ Pruna AI จัดเตรียมเครื่องมือที่รวมวิธีการหลายวิธีเพื่อทำให้กระบวนการใช้งานง่ายขึ้น
Enterprise Edition รองรับคุณสมบัติขั้นสูงเพื่อช่วยให้ผู้ใช้บรรลุการบีบอัดแบบจำลองและการปรับปรุงประสิทธิภาพในขณะที่รักษาความแม่นยำ