首页 › 对比 › FlashMLA vs FlashMLA

FlashMLA vs FlashMLA

星标、功能、趋势全方位对比

共同标签:DeepSeekAttentionCUDAPyTorchLLM
FlashMLA指标FlashMLA
12,583星标12,583
92评分92
AI分类AI
github-zh-inc来源github-zh-inc

// FlashMLA

FlashMLA 是由 DeepSeek 开发的高性能注意力内核库,旨在为其 V3 和 V3.2-Exp 模型提供动力。该存储库为稀疏和密集注意力提供了专门的实现,支持高效的预填充和解码阶段。这些内核专为现代 GPU 架构设计,可在计算密集型工作负载中实现显著的性能提升。

使用场景
  • 01用于预填充和解码阶段的 Token 级稀疏注意力
  • 02用于高性能模型推理的密集注意力内核
  • 03支持 FP8 KV cache 以优化内存使用和吞吐量

// FlashMLA

FlashMLA 是由 DeepSeek 开发的高性能注意力内核库,旨在为其 V3 和 V3.2-Exp 模型提供动力。该存储库为稀疏和密集注意力提供了专门的实现,支持高效的预填充和解码阶段。这些内核专为现代 GPU 架构设计,可在计算密集型工作负载中实现显著的性能提升。

使用场景
  • 01用于预填充和解码阶段的 Token 级稀疏注意力
  • 02用于高性能模型推理的密集注意力内核
  • 03支持 FP8 KV cache 以优化内存使用和吞吐量