12,991
// 项目简介
PaddleFormers 是基于百度飞桨框架构建的 Transformers 库，旨在为大语言模型与视觉语言模型提供与 Hugging Face 对等的训练接口与功能体验。该项目通过集成张量并行、流水线并行及自动混合精度等技术，在主流模型上实现了超越 Megatron-LM 的训练性能。此外，它还全面支持国产计算芯片，并兼容 Safetensors 格式，助力开发者高效完成从预训练到后训练的全流程任务。
// 技术分析
PaddleFormers 是基于百度飞桨（PaddlePaddle）深度学习框架构建的 Transformers 库，旨在为飞桨生态提供与 Hugging Face Transformers 对等的模型接口与功能体验。该项目通过集成张量并行、流水线并行、专家并行及自动混合精度等高性能分布式训练策略，显著提升了在大语言模型（LLM）和视觉语言模型（VLM）上的训练效率，在部分重点模型上的性能表现甚至超越了 Megatron-LM。其核心设计理念是屏蔽底层复杂的优化细节，为开发者提供高性能、低资源占用的训练方案，并实现了对 Safetensors 格式的全面支持，确保了模型在不同框架间的互操作性。
// 核心亮点
01
支持 100+ 主流大语言模型与视觉语言模型，涵盖 DeepSeek、Qwen、Llama 及文心系列模型。
02
内置高性能分布式训练策略，通过 FP8 低精度训练、通信计算重叠及存算均衡优化，实现卓越的训练性能。
03
提供从预训练到后训练（CPT/SFT/DPO）的全流程支持，并兼容 LoRA 等高效微调技术。
04
全面支持 Safetensors 格式，确保训练出的模型权重可直接在 vLLM、FastDeploy 等主流推理框架中使用。
05
深度适配国产计算芯片，包括昆仑芯 P800、天数天垓 150 及沐曦 C550 等平台。
06
支持 Function Call、Thinking 等前沿模型能力训练，并利用 Data Packing 和 Padding Free 技术提升数据处理效率。
// 典型使用场景
01
支持 100+ 主流大语言模型与视觉语言模型的全流程训练
02
提供包括 CPT、SFT、DPO 在内的多种高效微调与对齐能力
03
深度适配昆仑芯、天数智芯及沐曦等国产计算平台
// 快速开始
开发者可以通过 Docker 容器或 pip 安装 PaddleFormers，推荐使用虚拟环境（conda/venv/uv）以避免依赖冲突。安装完成后，可参考项目提供的 API 示例，通过 AutoTokenizer 和 AutoModelForCausalLM 快速加载模型，或使用 paddleformers-cli 工具执行模型训练任务。