deepseek-ai

3FS

Infra#Distributed Systems#Storage#AI#NVMe#RDMA

9,806

// 概要

Fire-Flyer File System (3FS) は、AI のトレーニングや推論ワークロードの厳しい要件を満たすために設計された高性能な分散ストレージソリューションです。RDMA と SSD を活用した分離型アーキテクチャを採用しており、分散アプリケーションに対して強力な整合性と馴染みのあるファイルインターフェースを提供します。本システムは、大規模なデータ準備、効率的なデータセットの読み込み、高スループットなチェックポインティングなど、多様なユースケースをサポートしています。

// 技術解説

Fire-Flyer File System (3FS) は、大規模な AI トレーニングおよび推論ワークロードの厳しい I/O 要件を満たすために設計された、高性能な分散ストレージソリューションです。ストレージとコンピューティングを分離するディスアグリゲーテッドアーキテクチャを採用し、最新の SSD と RDMA ネットワークを活用することで、ロカリティを意識しない高スループットな共有ストレージ層を提供します。このシステムは、トランザクション対応の key-value store に裏打ちされた標準的なファイルインターフェースを実装することで開発者の生産性を優先し、同時に Chain Replication with Apportioned Queries (CRAQ) を通じてデータの整合性を保証します。

// 主要ハイライト

ディスアグリゲーテッドアーキテクチャを活用し、数百のノードにまたがる数千の SSD のスループットを集約することで、大規模な並列パフォーマンスを実現します。

Chain Replication with Apportioned Queries (CRAQ) を実装して強力な整合性を提供し、アプリケーションのロジックと推論を簡素化します。

トランザクション対応の key-value store に裏打ちされた標準的なファイルインターフェースを提供し、開発者が新しいストレージプロトコルを学習することなく使い慣れた API を使用できるようにします。

コンピューティングノード間でのトレーニングサンプルへのランダムアクセスをサポートすることで効率的なデータ読み込みを可能にし、手動でのプリフェッチやシャッフルを不要にします。

大規模な AI モデルトレーニングにおいて安定性と進捗を維持するために不可欠な、高スループットな並列チェックポインティングをサポートします。

LLM 推論において DRAM ベースの KVCache に代わるコスト効率の高い大容量な代替手段を提供し、スループットと容量を大幅に向上させます。

// ユースケース

大規模 AI トレーニングにおける高スループットな並列チェックポインティング

分析パイプラインのための効率的なデータ準備と管理

LLM 推論最適化のためのコスト効率に優れた KVCache ストレージ

// クイックスタート

3FS の利用を開始するには、リポジトリを clone し、提供されているスクリプトを使用してサブモジュールを初期化してください。お使いの Linux ディストリビューション (Ubuntu、openEuler、または OpenCloudOS) に必要なシステム依存関係をインストールし、FoundationDB と Rust が設定されていることを確認した上で、CMake を使用してプロジェクトをビルドします。最後に、deploy ディレクトリ内のドキュメントを参照して、テストクラスターをセットアップおよび実行してください。