Deepseek, ein führender Anbieter von KI in China, veröffentlichte am letzten Tag der Open-Source-Woche eine wichtige Technologie-das Hochleistungs-Parallel-Dateisystem 3FS (Fire-Flyer-Dateisystem) für moderne Computerszenarien und deren unterstützende Datenverarbeitungsrahmen Smallpond. Diese Kombination von Schlägen löst direkt die Datenverarbeitungsprobleme in der KI -Schulung und in der Inferenz, wodurch ein neuer Branchenrekord mit einem Cluster -Durchsatz von 6,6TIB/s gesetzt wird und eine neue ERA für verteilte Speichertechnologie markiert.
Durch seine dezentrale Architektur und sein starkes konsistentes semantisches Design hat 3FS einen aggregierten Lesedurchsatz von 6,6 Tib/s in einem 180-Knoten-Cluster erreicht, und der KVCACHE-Suchpeak von Single Knode KVCache hat 40 Gib/s überschritten. Beim Graysort -Benchmark -Test erreichte die Leistung von 3FS 3,66TIB/min (25 Knoten), eine exponentielle Verbesserung im Vergleich zu herkömmlichen Lösungen. Dieses System optimiert die Eigenschaften von SSD- und RDMA-Netzwerken zutiefst, schiebt Hardware-Bandbreitennutzung auf das Extrem und bietet eine stabile Datenversorgung für KI-Trainingscluster auf Kilocard-Ebene.
Als Kerninfrastruktur der Deepseek V3/R1 -Version hat 3FS vollständig in wichtige Links wie Datenvorverarbeitung, Checkpoint -Speicher, Vektorsuche und Inferenzdarming eingedrungen. Das Design Shared Storage Layer-Design vereinfacht die Komplexität der verteilten Entwicklung erheblich, während starke Konsistenzgarantien die Sicherheit großer gleichzeitiger Operationen sicherstellen. Das Smallpond-Framework mit Open Source hat leichte Datenverarbeitungsfunktionen auf Peb-Ebene erstellt und sich auf Duckdb angewiesen, um "Service-Free" -Datentechnik zu realisieren und eine vollständige ökologische geschlossene Schleife von der Speicherung zum Computer zu bilden.
Die doppelte Open Source von 3Fs und Smallpond setzt den technologischen Eröffnungsrhythmus von Deepseeks "fünftägiger kontinuierlicher Freisetzung" fort. Durch die Herstellung von Systemen, die für die Öffentlichkeit von einem eigenen KI-Geschäft nachgewiesen wurden, drängt Deepseek die Branche, die Speicher Engpässe von datenintensiven Anwendungen zu durchbrechen. Analysten glauben, dass diese Lösung traditionelle verteilte Systeme wie Ceph und Glanz zu einem Dimensionalitätsreduzierung führen kann, insbesondere um neue Paradigmen in Szenarien wie großem Modelltraining zu eröffnen.
Open Source -Adresse:
3FS → https://github.com/deepseek-ai/3fs
Datenverarbeitungsframework auf Smallpond -3fs →: https://github.com/deepseek-ai/smallpond