PaddlePaddle / PaddleFormers
PaddleFormers は Baidu PaddlePaddle フレームワーク上に構築された Transformers ライブラリであり、Hugging Face と同等の Large Language Models および Vision-Language Models 向けの学習インターフェースと機能体験を提供します。Tensor parallelism、Pipeline parallelism、および Automatic mixed precision を統合することで、主要モデルにおいて Megatron-LM を凌駕する学習パフォーマンスを実現しました。さらに、国内のコンピューティングチップを完全にサポートし、Safetensors 形式と互換性があるため、開発者は Pre-training から Post-training までの全プロセスを効率的に完了できます。