PaddlePaddle

PaddleFormers

AI#PaddlePaddle #LLM #Deep Learning#Transformers#Distributed Training

12,991

// 概要

PaddleFormers は Baidu PaddlePaddle フレームワーク上に構築された Transformers ライブラリであり、Hugging Face と同等の Large Language Models および Vision-Language Models 向けの学習インターフェースと機能体験を提供します。Tensor parallelism、Pipeline parallelism、および Automatic mixed precision を統合することで、主要モデルにおいて Megatron-LM を凌駕する学習パフォーマンスを実現しました。さらに、国内のコンピューティングチップを完全にサポートし、Safetensors 形式と互換性があるため、開発者は Pre-training から Post-training までの全プロセスを効率的に完了できます。

// 技術解説

PaddleFormers は Baidu PaddlePaddle ディープラーニングフレームワーク上に構築された Transformers ライブラリであり、Hugging Face Transformers と同等のモデルインターフェースと機能体験を PaddlePaddle エコシステムに提供するように設計されています。Tensor parallelism、pipeline parallelism、expert parallelism、自動混合精度といった高性能な分散学習戦略を統合することで、本プロジェクトは Large Language Models (LLM) および Vision-Language Models (VLM) の学習効率を大幅に向上させており、一部の主要モデルでは Megatron-LM を上回るパフォーマンスを実現しています。その中心的な設計思想は、複雑な基盤となる最適化の詳細を抽象化し、開発者に高性能かつ低リソースな学習ソリューションを提供することにあり、異なるフレームワーク間でのモデルの相互運用性を確保するために Safetensors フォーマットを完全にサポートしています。

// 主要ハイライト

DeepSeek、Qwen、Llama、Ernie シリーズモデルを含む、100 種類以上の主要な Large Language Models および Vision-Language Models をサポートしています。

高性能な分散学習戦略を内蔵しており、FP8 低精度学習、通信と計算のオーバーラップ、メモリと計算のバランス最適化を通じて優れた学習パフォーマンスを実現しています。

事前学習から事後学習 (CPT/SFT/DPO) までの全プロセスをサポートし、LoRA などの効率的なファインチューニング技術と互換性があります。

Safetensors フォーマットを包括的にサポートしており、学習済みのモデルウェイトを vLLM や FastDeploy といった主要な推論フレームワークで直接使用可能です。

Kunlunxin P800、Iluvatar CoreX Tiangai 150、MetaX C550 などのプラットフォームを含む、国内のコンピューティングチップに深く適応しています。

Function Call や Thinking といった最先端のモデル機能の学習をサポートし、Data Packing および Padding Free 技術を活用してデータ処理効率を向上させています。

// ユースケース

100 種類以上の主要な Large Language Models および Vision-Language Models の全プロセス学習をサポート

CPT、SFT、DPO を含む多様で効率的な Fine-tuning および Alignment 機能を搭載

Kunlunxin、Iluvatar CoreX、MetaX といった国内コンピューティングプラットフォームに深く適応

// クイックスタート

開発者は Docker コンテナまたは pip を通じて PaddleFormers をインストールできます。依存関係の競合を避けるため、仮想環境 (conda/venv/uv) の使用を推奨します。インストール後、プロジェクトが提供する API サンプルを参照して AutoTokenizer や AutoModelForCausalLM を使用してモデルを迅速にロードするか、paddleformers-cli ツールを使用してモデル学習タスクを実行できます。