Kimi Open Platform ซึ่งเป็นบริษัทในเครือของ Dark Side of the Moon ประกาศว่าเทคโนโลยี Context Caching ได้เปิดตัวเบต้าสาธารณะอย่างเป็นทางการแล้ว เทคโนโลยีนี้สามารถลดต้นทุนในการใช้โมเดลขนาดใหญ่ที่เป็นข้อความยาวได้สูงสุดถึง 90% สำหรับนักพัฒนาโดยไม่ต้องเพิ่มราคา API และปรับปรุงความเร็วการตอบสนองของโมเดลได้อย่างมาก ด้วยการจัดเก็บข้อมูลที่ร้องขอบ่อยครั้งล่วงหน้า การแคชบริบทสามารถลดการคำนวณและการเรียกข้อมูลซ้ำได้อย่างมีประสิทธิภาพ จึงช่วยประหยัดเวลาและทรัพยากร เหมาะอย่างยิ่งสำหรับสถานการณ์ที่มีการร้องขอบริบทเริ่มต้นจำนวนมาก เช่น สถานการณ์ที่มีการร้องขอจำนวนมาก ต้องถามคำถามในเอกสารถาวร
เมื่อวานนี้ Kimi Open Platform ของ Dark Side of the Moon ประกาศว่า Context Caching ได้เริ่มการทดสอบสาธารณะแล้ว เทคโนโลยีนี้สามารถลดต้นทุนในการใช้โมเดลข้อความยาวขนาดใหญ่ได้มากถึง 90% สำหรับนักพัฒนา ในขณะที่ยังคงราคา API ไว้เท่าเดิม ปรับปรุงความเร็วในการตอบสนองของโมเดล
Context Caching เป็นเทคโนโลยีการจัดการข้อมูลที่มีประสิทธิภาพซึ่งช่วยให้ระบบจัดเก็บข้อมูลจำนวนมากไว้ล่วงหน้าหรือข้อมูลที่อาจถูกร้องขอบ่อยครั้ง ด้วยวิธีนี้ เมื่อคุณขอข้อมูลเดิมอีกครั้ง ระบบสามารถให้บริการข้อมูลจากแคชโดยตรงได้อย่างรวดเร็ว โดยไม่ต้องคำนวณใหม่หรือดึงข้อมูลจากแหล่งข้อมูลดั้งเดิม ซึ่งช่วยประหยัดเวลาและทรัพยากร การแคชบริบทเหมาะอย่างยิ่งสำหรับสถานการณ์ที่มีการร้องขอบ่อยครั้งและมีการอ้างอิงซ้ำไปยังบริบทเริ่มต้นจำนวนมาก ซึ่งสามารถลดต้นทุนของโมเดลข้อความยาวและปรับปรุงประสิทธิภาพได้อย่างมาก
โดยเฉพาะ "การแคชบริบท" สามารถนำไปใช้กับสถานการณ์ที่มีการร้องขอบ่อยครั้งและบริบทเริ่มต้นจำนวนมากถูกอ้างอิงซ้ำๆ ทำให้เกิดผลกระทบสองประการต่อไปนี้:
การลดต้นทุนสูงสุดถึง 90%: ตัวอย่างเช่น สำหรับสถานการณ์ที่ต้องการคำถามจำนวนมากเกี่ยวกับเอกสารคงที่ การแคชบริบทสามารถประหยัดค่าใช้จ่ายได้มาก ตัวอย่างเช่น สำหรับคู่มือผลิตภัณฑ์ฮาร์ดแวร์ที่มีเอกสารประมาณ 90,000 คำ เจ้าหน้าที่ฝ่ายสนับสนุนก่อนการขายจำเป็นต้องตอบคำถามและคำตอบหลายข้ออย่างเข้มข้นในช่วงเวลาสั้นๆ หลังจากเข้าถึงแคชบริบท ต้นทุนจะลดลงเหลือประมาณ 10 % ของราคาเดิม
ความล่าช้าของโทเค็นแรกลดลง 83%: สำหรับคำขอโมเดล 128k โดยปกติจะใช้เวลา 30 วินาทีในการส่งคืนโทเค็นแรก ด้วยการแคชบริบท ความล่าช้าของโทเค็นแรกสามารถลดลงเหลือน้อยกว่า 5 วินาทีโดยเฉลี่ย ซึ่งลดเวลาล่าช้าลงได้ประมาณ 83%
รูปแบบการชาร์จของ Context Caching ส่วนใหญ่แบ่งออกเป็นสามส่วนดังต่อไปนี้:
ค่าธรรมเนียมการสร้างแคช:
เรียกอินเทอร์เฟซการสร้างแคช หลังจากสร้างแคชสำเร็จแล้ว จำนวนโทเค็นจริงในแคชจะถูกเรียกเก็บเงิน โทเค็น 24 หยวน/M
ค่าธรรมเนียมการจัดเก็บแคช:
ค่าธรรมเนียมการจัดเก็บแคชจะถูกเรียกเก็บต่อนาทีในช่วงเวลาการอยู่รอดของแคช 10 หยวน/โทเค็น M/นาที
ค่าโทรแคช:
การเรียกเก็บเงินสำหรับแคชที่เรียกโทเค็นส่วนเพิ่ม: เรียกเก็บเงินตามราคาเดิมของโมเดล
ค่าบริการนับการโทรแคช:
ในช่วงเวลาการอยู่รอดของแคช ผู้ใช้ร้องขอแคชที่สร้างสำเร็จผ่านอินเทอร์เฟซการแชท หากเนื้อหาของข้อความแชทตรงกับแคชที่เหลือ ค่าธรรมเนียมการโทรแคชจะถูกเรียกเก็บตามจำนวนการโทร 0.02 หยวน/ครั้ง
โดยรวมแล้ว เทคโนโลยีการแคชบริบทของแพลตฟอร์มเปิด Kimi ช่วยให้นักพัฒนาได้รับโซลูชันที่คุ้มต้นทุนมากขึ้น ลดต้นทุนการใช้งานและความล่าช้าในการตอบสนองของโมเดลข้อความยาวขนาดใหญ่ได้อย่างมาก และปรับปรุงประสิทธิภาพการพัฒนา สิ่งนี้มีความสำคัญอย่างยิ่งสำหรับสถานการณ์แอปพลิเคชันที่ต้องประมวลผลข้อมูลข้อความจำนวนมาก