中國AI領域的領軍企業DeepSeek在開源週的最後一天發布了一項重磅技術——專為現代算力場景設計的高性能並行文件系統3FS（Fire-Flyer File System）及其配套數據處理框架Smallpond。這一組合拳直接解決了AI訓練與推理中的數據處理難題，以6.6TiB/s的集群吞吐量創下行業新紀錄，標誌著分佈式存儲技術邁入了一個全新的時代。
3FS通過其去中心化架構和強一致性語義設計，在180節點集群中實現了6.6TiB/s的聚合讀取吞吐量，單節點KVCache查找峰值更是突破了40GiB/s。在GraySort基準測試中，3FS的表現達到了3.66TiB/min（25節點），相比傳統方案有了指數級的提升。該系統深度優化了SSD與RDMA網絡的特性，將硬件帶寬利用率推向極致，為千卡級AI訓練集群提供了穩定的數據供給。
作為DeepSeek V3/R1版本的核心基礎設施，3FS已經全面滲透到數據預處理、檢查點存儲、向量搜索及推理緩存等關鍵環節。其共享存儲層設計顯著簡化了分佈式開發的複雜度，而強一致性保障則確保了大規模並發操作的安全性。配套開源的Smallpond框架構建了輕量化的PB級數據處理能力，依托DuckDB實現了“無服務化”數據工程，形成了從存儲到計算的完整生態閉環。
此次3FS與Smallpond的雙重開源，延續了DeepSeek“五日連發”的技術開放節奏。通過將經過自身AI業務驗證的系統公之於眾，DeepSeek正在推動行業突破數據密集型應用的存儲瓶頸。分析認為，這套方案或將對Ceph、Lustre等傳統分佈式系統形成降維打擊，特別是在大模型訓練等場景中開闢新的範式。
開源地址:
3FS → https://github.com/deepseek-ai/3FS
Smallpond -3FS→上的數據處理框架:https://github.com/deepseek-ai/smallpond