أصدر ديبسيك ، وهو رائد في مجال الذكاء الاصطناعي في الصين ، تقنية رئيسية في اليوم الأخير من أسبوع المصدر المفتوح-نظام الملفات المتوازي عالي الأداء 3FS (نظام ملفات Fire-Flyer) المصمم لسيناريوهات الحوسبة الحديثة وصبر إطار معالجة البيانات الداعمة. يحل هذا المزيج من اللكمات بشكل مباشر مشاكل معالجة البيانات في تدريب الذكاء الاصطناعي واستدلاله ، مما يحقق سجلًا جديدًا في الصناعة مع إنتاجية عنقودية 6.6TIB/S ، مما يمثل حقبة جديدة لتكنولوجيا التخزين الموزعة.
من خلال بنيتها اللامركزية والتصميم الدلالي القوي المتسق ، حققت 3FS إنتاجية مجمعة من 6.6tib/s في كتلة 180 عقدة ، وتجاوزت ذروة بحث KVCache أحادية العقد 40gib/s. في اختبار Graysort Benchmark ، وصل أداء 3FS إلى 3.66TIB/دقيقة (25 عقدًا) ، وهو تحسن كبير مقارنة بالحلول التقليدية. يعمل هذا النظام على تحسين خصائص شبكات SSD و RDMA ، ويدفع استخدام عرض النطاق الترددي للأجهزة إلى أقصى الحدود ، ويوفر إمدادات بيانات مستقرة لمجموعات تدريب AI على مستوى الكيلوغرام.
نظرًا لأن البنية التحتية الأساسية لإصدار Deepseek V3/R1 ، فقد اخترقت 3FS بالكامل في روابط رئيسية مثل المعالجة المسبقة للبيانات ، وتخزين نقاط التفتيش ، والبحث في المتجهات ، وتخزين التخلص من الاستدلال. يؤدي تصميم طبقة التخزين المشتركة إلى تبسيط تعقيد التطوير الموزع بشكل كبير ، بينما تضمن ضمانات الاتساق القوية أمان العمليات المتزامنة على نطاق واسع. يحتوي إطار العمل الجانبي مع المصدر المفتوح على إمكانيات معالجة البيانات على مستوى الحصى خفيفة الوزن ، واعتمد على DuckDB لتحقيق هندسة البيانات "الخالية من الخدمة" ، وتشكيل حلقة مغلقة بيئية كاملة من التخزين إلى الحوسبة.
يواصل المصدر المفتوح المزدوج لـ 3Fs و Smallpond إيقاع الافتتاح التكنولوجي لـ Deepseek "إصدار مستمر لمدة خمسة أيام". من خلال إنشاء أنظمة أثبتت من قبل أعمال الذكاء الاصطناعى الخاص بها للجمهور ، تدفع Deepseek الصناعة إلى اختراق اختناقات التخزين للتطبيقات المكثفة للبيانات. يعتقد المحللون أن هذا الحل قد يتسبب في انخفاض في الأبعاد للأنظمة الموزعة التقليدية مثل Ceph و Luster ، وخاصة لفتح نماذج جديدة في سيناريوهات مثل التدريب النموذجي الكبير.
عنوان المصدر المفتوح:
3fs → https://github.com/deepseek-ai/3fs
إطار معالجة البيانات على smallpond -3fs →: https://github.com/deepeek-ai/smallpond