DeepSeek、AIデータアクセスを最適化する高速並列ファイルシステム3 FSをオープンソース化
Crypto 7x24
2025-02-28 10:17:51
4843
DeepSeekの発表によると、オープンソースウィークの5日目に、Fire-Flyerファイルシステム(3 FS)が正式にオープンソース化されました。高性能並列ファイルシステムとして、3 FSは最新のSSDとRDMAネットワークをフルに活用して、高速データアクセスを実現し、AIモデルトレーニングと推論効率を向上させます。3 FSの主要パフォーマンス指標:180ノードクラスタで6.6 TiB/sの総読み取りスループットを達成し、25ノードGraySortベンチマークで3.66 TiB/minのスループットを達成しました。シングルノードKVCacheクエリのピークスループットは40+ GiB/sを超えました。3 FSは分離アーキテクチャを採用し、データ前処理、データセットロード、チェックポイントストレージ/リカバリ、埋め込みベクトル検索、推論KVCacheクエリをサポートし、一貫性の高いセマンティクスを備えています。DeepSeekは3 FSデータ管理機能をさらに最適化するSmallpondデータ処理フレームワークを発表しました。
免責事項: この記事の見解は元の著者の見解であり、Hawk Insight の見解や立場を表すものではありません。記事の内容は参考、コミュニケーション、学習のみを目的としており、投資アドバイスを構成するものではありません。著作権上問題がある場合は削除のご連絡をお願い致します。