Mooncake เป็นโครงการโอเพ่นซอร์สที่สร้างสรรค์ร่วมกันโดย Dark Side of the Moon Technology Co., Ltd. และ MADSys Laboratory ของมหาวิทยาลัย Tsinghua มีเป้าหมายเพื่อสร้างสถาปัตยกรรมการใช้เหตุผลแบบจำลองขนาดใหญ่โดยมี KVCache เป็นแกนหลัก และมุ่งมั่นที่จะปรับปรุงประสิทธิภาพของการใช้เหตุผลแบบจำลองขนาดใหญ่ . โปรเจ็กต์นี้มาจากแผนการออกแบบระบบการอนุมาน Mooncake ของ Kimi ที่ทั้งสองฝ่ายเผยแพร่ร่วมกัน แผนนี้ปรับปรุงปริมาณการอนุมานอย่างมีนัยสำคัญด้วยสถาปัตยกรรมการแยก PD และการแปลงการจัดเก็บเป็นเงินฝากที่เป็นนวัตกรรมใหม่ ซึ่งดึงดูดความสนใจอย่างกว้างขวางในอุตสาหกรรม โครงการ Mooncake กำลังค่อยๆ เปิดซอร์สส่วนประกอบหลัก โดยมุ่งมั่นที่จะจัดหาแพลตฟอร์มที่มีประสิทธิภาพและเข้ากันได้สำหรับการอนุมานแบบจำลองขนาดใหญ่
โครงการ Mooncake ได้รับการขยายจากรายงาน โดยมีศูนย์กลางอยู่ที่พูลแคช KVCache ขนาดใหญ่พิเศษ และลดค่าใช้จ่ายด้านพลังงานในการประมวลผล และทรูพุตการอนุมานที่ดีขึ้นผ่านแนวคิดนวัตกรรมด้านการจัดเก็บและการแปลง โปรเจ็กต์นี้ใช้แนวทางโอเพ่นซอร์สแบบเป็นขั้นตอนเพื่อค่อยๆ โอเพ่นซอร์สโดยการนำ Mooncake Store แคชหลายระดับ KVCache ประสิทธิภาพสูงมาใช้ และเข้ากันได้กับกลไกการอนุมานต่างๆ และทรัพยากรการจัดเก็บ/การส่งผ่านพื้นฐาน ปัจจุบัน ส่วน Transfer Engine ได้รับการเปิดซอร์สทั่วโลกบน GitHub
Xu Xinran รองประธานฝ่ายวิศวกรรมของ Dark Side of the Moon Kimi กล่าวว่าด้วยความร่วมมืออย่างใกล้ชิดกับห้องปฏิบัติการ MADSys ของมหาวิทยาลัย Tsinghua พวกเขาร่วมกันสร้าง Mooncake ซึ่งเป็นสถาปัตยกรรมการอนุมานแบบจำลองขนาดใหญ่ที่แยกออกจากกัน ส่งผลให้ทรัพยากรการอนุมานมีประสิทธิภาพสูงสุด Mooncake ไม่เพียงแต่ปรับปรุงประสบการณ์ผู้ใช้ของ Kimi และลดต้นทุน แต่ยังมอบโซลูชันที่มีประสิทธิภาพสำหรับการประมวลผลข้อความยาวและข้อกำหนดการทำงานพร้อมกันในระดับสูง บริษัทเชื่อว่าด้วยความร่วมมือแบบโอเพ่นซอร์สกับอุตสาหกรรม สถาบันการศึกษา และสถาบันวิจัย บริษัทสามารถส่งเสริมการพัฒนาของอุตสาหกรรมทั้งหมดไปสู่แพลตฟอร์มการอนุมานที่มีประสิทธิภาพมากขึ้น และเชิญชวนบริษัทและสถาบันการวิจัยจำนวนมากขึ้นให้เข้าร่วมโครงการขนมไหว้พระจันทร์เพื่อร่วมกันสำรวจตลาดที่มีประสิทธิผลมากขึ้น และสถาปัตยกรรมระบบอนุมานโมเดลขั้นสูง นวัตกรรมช่วยให้ผลิตภัณฑ์ เช่น ผู้ช่วย AI ที่ใช้เทคโนโลยีโมเดลขนาดใหญ่เป็นประโยชน์ต่อผู้คนในวงกว้าง
ที่อยู่โครงการ: https://github.com/kvcache-ai/Mooncake
โครงการโอเพ่นซอร์สของโครงการขนมไหว้พระจันทร์ถือเป็นก้าวสำคัญในนวัตกรรมของสถาปัตยกรรมอนุมานแบบจำลองขนาดใหญ่ การออกแบบสถาปัตยกรรมที่มีประสิทธิภาพและแบบจำลองความร่วมมือแบบเปิดจะส่งเสริมความนิยมและการประยุกต์ใช้เทคโนโลยีแบบจำลองขนาดใหญ่ และอัดฉีดพลังใหม่ ๆ ให้กับการพัฒนาปัญญาประดิษฐ์ เราหวังว่าจะมีนักพัฒนาจำนวนมากขึ้นเข้าร่วมเพื่อสร้างระบบนิเวศการให้เหตุผลของ AI ที่ทรงพลังยิ่งขึ้น