أعلنت Kimi Open Platform، وهي شركة تابعة لشركة Dark Side of the Moon، أن تقنية التخزين المؤقت للسياق الخاصة بها قد أطلقت الإصدار التجريبي العام رسميًا. يمكن لهذه التقنية تقليل تكلفة استخدام النماذج الكبيرة ذات النصوص الطويلة بنسبة تصل إلى 90% للمطورين دون زيادة أسعار واجهة برمجة التطبيقات (API)، وتحسين سرعة استجابة النموذج بشكل كبير. من خلال تخزين البيانات المطلوبة بشكل متكرر مسبقًا، يمكن للتخزين المؤقت للسياق أن يقلل بشكل فعال من العمليات الحسابية المتكررة واسترجاع البيانات، وبالتالي توفير الوقت والموارد، وهو مناسب بشكل خاص للسيناريوهات التي يتم فيها طلب عدد كبير من السياقات الأولية بشكل متكرر، مثل السيناريوهات التي يكون فيها عدد كبير من السياقات الأولية مطلوبة بشكل متكرر يجب طرح الأسئلة على المستندات الثابتة.
بالأمس، أعلنت منصة Kimi Open Platform ضمن Dark Side of the Moon أن التخزين المؤقت للسياق قد بدأ في الاختبار العام. يمكن لهذه التقنية تقليل تكلفة استخدام النماذج الكبيرة ذات النصوص الطويلة بنسبة تصل إلى 90% للمطورين مع الحفاظ على سعر واجهة برمجة التطبيقات (API) دون تغيير بشكل كبير تحسين سرعة استجابة النموذج.
يعد التخزين المؤقت للسياق تقنية فعالة لإدارة البيانات تسمح للنظام بالتخزين المسبق لكميات كبيرة من البيانات أو المعلومات التي قد يتم طلبها بشكل متكرر. بهذه الطريقة، عندما تطلب نفس المعلومات مرة أخرى، يمكن للنظام تقديمها بسرعة مباشرة من ذاكرة التخزين المؤقت دون الحاجة إلى إعادة حسابها أو استرجاعها من مصدر البيانات الأصلي، مما يوفر الوقت والموارد. يعد التخزين المؤقت للسياق مناسبًا بشكل خاص للسيناريوهات ذات الطلبات المتكررة والمراجع المتكررة لعدد كبير من السياقات الأولية، ويمكن أن يقلل بشكل كبير من تكلفة نماذج النص الطويلة ويحسن الكفاءة!
على وجه التحديد، يمكن تطبيق "التخزين المؤقت للسياق" على السيناريوهات التي تتم فيها الإشارة بشكل متكرر إلى الطلبات المتكررة وعدد كبير من السياقات الأولية، مما يؤدي إلى التأثيرين التاليين:
خفض التكلفة بنسبة تصل إلى 90%: على سبيل المثال، بالنسبة للسيناريوهات التي تتطلب عددًا كبيرًا من الأسئلة حول المستندات الثابتة، يمكن أن يوفر التخزين المؤقت للسياق الكثير من التكاليف. على سبيل المثال، بالنسبة لدليل منتج الأجهزة الذي يحتوي على مستند يبلغ حوالي 90.000 كلمة، يحتاج موظفو دعم ما قبل البيع إلى إجراء أسئلة وإجابات متعددة بشكل مكثف في فترة زمنية قصيرة، وبعد الوصول إلى ذاكرة التخزين المؤقت للسياق، يمكن تقليل التكلفة إلى حوالي 10 % من السعر الأصلي.
يتم تقليل تأخير الرمز المميز الأول بنسبة 83%: بالنسبة لطلب نموذج 128 كيلو بايت، يستغرق عادةً 30 ثانية لإرجاع الرمز المميز الأول. من خلال التخزين المؤقت للسياق، يمكن تقليل تأخير الرمز المميز الأول إلى أقل من 5 ثوانٍ في المتوسط، مما يقلل وقت التأخير بنسبة 83% تقريبًا.
ينقسم نموذج الشحن للتخزين المؤقت للسياق بشكل أساسي إلى الأجزاء الثلاثة التالية:
رسوم إنشاء ذاكرة التخزين المؤقت:
اتصل بواجهة إنشاء ذاكرة التخزين المؤقت بعد إنشاء ذاكرة التخزين المؤقت بنجاح، سيتم إصدار فاتورة بالكمية الفعلية من الرموز المميزة الموجودة في ذاكرة التخزين المؤقت. 24 يوان/م رمز
رسوم تخزين ذاكرة التخزين المؤقت:
يتم فرض رسوم تخزين ذاكرة التخزين المؤقت بالدقيقة خلال فترة بقاء ذاكرة التخزين المؤقت. 10 يوان/م رمز/دقيقة
تكلفة استدعاء ذاكرة التخزين المؤقت:
رسوم استدعاء الرمز المميز التزايدي لذاكرة التخزين المؤقت: يتم تحصيلها وفقًا للسعر الأصلي للنموذج
رسوم المكالمات المؤقتة:
أثناء فترة بقاء ذاكرة التخزين المؤقت، يطلب المستخدم ذاكرة التخزين المؤقت التي تم إنشاؤها بنجاح من خلال واجهة الدردشة. إذا كان محتوى رسالة الدردشة يتطابق بنجاح مع ذاكرة التخزين المؤقت الباقية، فسيتم فرض رسوم استدعاء ذاكرة التخزين المؤقت على أساس عدد المكالمات. 0.02 يوان/الوقت
بشكل عام، توفر تقنية التخزين المؤقت للسياق في منصة Kimi المفتوحة للمطورين حلاً أكثر فعالية من حيث التكلفة، مما يقلل بشكل كبير من تكلفة الاستخدام وتأخير الاستجابة للنماذج الكبيرة ذات النصوص الطويلة، ويحسن كفاءة التطوير. وهذا له أهمية كبيرة لسيناريوهات التطبيق التي تحتاج إلى معالجة كميات كبيرة من البيانات النصية.