أعلنت Lenovo اليوم أن أول خادم تدريب AMD AI Big Model ، Lenovo Wentian WA7785A G3 ، حقق إنتاجية متطرفة تصل إلى 6708TOKEN/S عند نشر طراز Deepseek الكبير 671B (الإصدار الكامل) على آلة قائمة بذاتها ، مرة أخرى تقسيم السجل لأداء خادم واحد يركض خادمًا واحدًا.
وفقًا للتقارير ، يرجع اختراق الأداء هذا إلى الدعم القوي لمنصة الحوسبة الذكية Lenovo Wanquan. يعمل Lenovo على تحسين عملية النماذج الكبيرة بالكامل من التدريب المسبق ، وبعد التدريب إلى الاستدلال من خلال سلسلة من الوسائل الفنية المبتكرة مثل تحسين الوصول إلى الذاكرة ، وتحسين ذاكرة الفيديو ، والهندسة المعمارية المبتكرة PCIE5.0 PCIE5 تُظهر نتائج الاختبار الفعلية أنه على خادم Lenovo Wentian WA7785A G3 الذي ينشر نموذج DeepSeek671b الكبير ، فإن أعلى إنتاجية تصل إلى 6708 -token/s.
عند محاكاة سيناريو محادثة مشكلة (طول تسلسل السياق 128/1K) ، يمكن أن يدعم الخادم ما يصل إلى 158 أرقام التزامن ، TPOT (وقت الرمز المميز) هو 93 ميلي ثانية ، TTFT (الوقت إلى الرمز المميز الأول) هو 2.01 ثانية ؛ عند محاكاة سيناريو توليد الكود (طول تسلسل السياق 512/4K) ، يمكن أن تصل أرقام التزامن إلى 140 ، و TPOT 100 ميلي ثانية ، و TTFT هي 5.53 ثانية. قال لينوفو إن هذا الأداء يعني أن خادم Lenovo Wentian WA7785A G3 يمكنه دعم الاستخدام العادي للمؤسسات بمقياس 1500 شخص. إنها قفزة رئيسية أخرى في أداء الاستدلال للنموذج الواسع النطاق الذي ينشره خادم Lenovo Wentian WA7780G3 ، بعد نشر الإصدار الكامل للدم من طراز Deepseek Big بواسطة طراز Deepseek الكبير المفرد.
أكد لينوفو أن هذا الاختراق التكنولوجي هو نتيجة التصميم المشترك ، والتحسين التعاوني والتنفيذ المشترك لمجموعة أعمال البنية التحتية للبنية التحتية Lenovo ، ومختبر Lenovo Research Institute ICI و AMD. في الوقت نفسه ، ليست هذه هي النتيجة النهائية. لا تزال Lenovo و AMD تستمر في استكشاف أساليب جديدة للضبط العميق من أجل تحقيق اختراقات عالية الأداء.