DeepSeek發布3FS文件系統，創6.6TiB/s吞吐紀錄

中國AI領軍企業DeepSeek在開源週收官之際投下技術"核彈"，正式發布專為現代算力場景設計的高性能並行文件系統3FS（Fire-Flyer File System）及配套數據處理框架Smallpond。這套組合拳直擊AI訓練與推理的數據處理痛點，以6.6TiB/s的集群吞吐量創下行業新紀錄，標誌著分佈式存儲技術邁入新紀元。

性能顛覆:架構創新定義新標準

3FS通過去中心化架構與強一致性語義設計，在180節點集群中實現6.6TiB/s聚合讀取吞吐，單節點KVCache查找峰值突破40GiB/s。其GraySort基準測試表現達3.66TiB/min（25節點），較傳統方案呈指數級提升。系統深度優化SSD與RDMA網絡特性，將硬件帶寬利用率推向極致，為千卡級AI訓練集群提供穩定數據供給。

場景重構:全鏈路賦能AI工作流

作為DeepSeek V3/R1版本的核心基建，3FS已全面滲透數據預處理、檢查點存儲、向量搜索及推理緩存等關鍵環節。其共享存儲層設計顯著簡化分佈式開發複雜度，而強一致性保障確保大規模並發操作安全。配套開源的Smallpond框架更構建起輕量化PB級數據處理能力，依托DuckDB實現"無服務化"數據工程，形成從存儲到計算的完整生態閉環。

開源戰略:加速AI基建民主化進程

此次3FS與Smallpond的雙重開源，延續DeepSeek"五日連發"的技術開放節奏。通過將經過自身AI業務驗證的系統公之於眾，DeepSeek正推動行業突破數據密集型應用的存儲瓶頸。分析認為，這套方案或將對Ceph、Lustre等傳統分佈式系統形成降維打擊，特別是在大模型訓練等場景開闢新範式。

開源地址:

3FS → https://github.com/deepseek-ai/3FS

Smallpond -3FS→上的數據處理框架:https://github.com/deepseek-ai/smallpond