FineInfer

เครื่องประดับ

- กระดาษ |

FineInfer เป็นต้นแบบการวิจัยสำหรับการปรับแต่งและให้บริการแบบจำลองภาษาขนาดใหญ่

FineInfer รองรับการปรับจูนพารามิเตอร์ที่มีประสิทธิภาพพร้อมกันและการอนุมานผ่านคุณสมบัติดังต่อไปนี้:

• การแบตช์ต่อเนื่องรอการตัดบัญชี
• สถาปัตยกรรมระบบไฮบริด
• การแบตช์ที่แตกต่างกัน

เริ่มต้นใช้งาน

การติดตั้งและตัวอย่าง

เวอร์ชันปัจจุบันจะลบคุณสมบัติและฟังก์ชันก่อนหน้านี้บางส่วน หากคุณต้องการโปรดดาวน์โหลดเวอร์ชันก่อนหน้า

การอ้างอิง

 @inproceedings{FineInfer,
  author = {He, Yongjun and Lu, Yao and Alonso, Gustavo},
  title = {Deferred Continuous Batching in Resource-Efficient Large Language Model Serving},
  year = {2024},
  booktitle = {Proceedings of the 4th Workshop on Machine Learning and Systems},
  pages = {98–106},
  series = {EuroMLSys '24}
}