Deepseek ผู้นำในสาขาของ AI ในประเทศจีนเปิดตัวเทคโนโลยีที่สำคัญในวันสุดท้ายของสัปดาห์โอเพ่นซอร์ส-ระบบไฟล์คู่ขนานประสิทธิภาพสูง 3FS (ระบบไฟล์ Fire-Flyer) ที่ออกแบบมาสำหรับสถานการณ์การคำนวณที่ทันสมัย การรวมกันของหมัดนี้จะช่วยแก้ปัญหาการประมวลผลข้อมูลโดยตรงในการฝึกอบรม AI และการอนุมานการตั้งค่าบันทึกอุตสาหกรรมใหม่ด้วยปริมาณงานคลัสเตอร์ 6.6Tib/s ซึ่งเป็นยุคใหม่สำหรับเทคโนโลยีการจัดเก็บแบบกระจาย
ผ่านสถาปัตยกรรมที่มีการกระจายอำนาจและการออกแบบความหมายที่สอดคล้องกันอย่างแข็งแกร่ง 3FS ได้รับปริมาณการอ่านที่รวมอยู่ที่ 6.6Tib/s ในคลัสเตอร์ 180 โหนดและจุดสูงสุดการค้นหา KVCache แบบโหนดเดียวเกิน 40GIB/s ในการทดสอบเกณฑ์มาตรฐาน Graysort ประสิทธิภาพของ 3FS ถึง 3.66Tib/นาที (25 โหนด) การปรับปรุงแบบเอ็กซ์โปเนนเชียลเมื่อเทียบกับโซลูชั่นดั้งเดิม ระบบนี้เพิ่มประสิทธิภาพอย่างลึกซึ้งถึงลักษณะของเครือข่าย SSD และ RDMA ผลักดันการใช้แบนด์วิดท์ของฮาร์ดแวร์ให้มากที่สุดและให้ข้อมูลที่เสถียรสำหรับกลุ่มการฝึกอบรม AI ระดับกิโลกรัม
ในฐานะที่เป็นโครงสร้างพื้นฐานหลักของรุ่น Deepseek V3/R1 3FS ได้เจาะเข้าไปในลิงค์คีย์อย่างสมบูรณ์เช่นการประมวลผลข้อมูลล่วงหน้าการจัดเก็บจุดตรวจการค้นหาเวกเตอร์และการแคชการอนุมาน การออกแบบชั้นจัดเก็บข้อมูลที่ใช้ร่วมกันทำให้ความซับซ้อนของการพัฒนาแบบกระจายง่ายขึ้นอย่างมาก เฟรมเวิร์ก Smallpond ที่มีโอเพ่นซอร์สได้สร้างความสามารถในการประมวลผลข้อมูลระดับ PEB ที่มีน้ำหนักเบาและพึ่งพา Duckdb เพื่อตระหนักถึงวิศวกรรมข้อมูลที่ไม่ต้องใช้บริการซึ่งสร้างวงปิดระบบนิเวศที่สมบูรณ์จากการจัดเก็บจนถึงคอมพิวเตอร์
แหล่งโอเพ่นซอร์สคู่ของ 3FS และ Smallpond ยังคงเปิดจังหวะการเปิดเทคโนโลยีของ "การเปิดตัวต่อเนื่องห้าวัน" ของ Deepseek ด้วยการสร้างระบบที่ได้รับการพิสูจน์โดยธุรกิจ AI ของตัวเองสู่สาธารณะ Deepseek กำลังผลักดันให้อุตสาหกรรมผ่านคอขวดที่เก็บข้อมูลที่ใช้ข้อมูลมาก นักวิเคราะห์เชื่อว่าโซลูชันนี้อาจทำให้เกิดการลดขนาดลงในระบบกระจายแบบดั้งเดิมเช่น Ceph และ Luster โดยเฉพาะอย่างยิ่งในการเปิดกระบวนทัศน์ใหม่ในสถานการณ์เช่นการฝึกอบรมแบบจำลองขนาดใหญ่
ที่อยู่โอเพ่นซอร์ส:
3FS → https://github.com/deepseek-ai/3fs
กรอบการประมวลผลข้อมูลบน smallpond -3fs →: https://github.com/deepseek-ai/smallpond