ホーム › 比較 › FlashMLA vs FlashMLA

FlashMLA vs FlashMLA

star ・機能・トレンドを横並び比較

共通タグ:DeepSeekAttentionCUDAPyTorchLLM
FlashMLA指標FlashMLA
12,617Stars12,617
93スコア93
AIカテゴリAI
github-zh-incソースgithub-zh-inc

// FlashMLA

FlashMLA は DeepSeek-V3 および DeepSeek-V3.2 モデルを駆動するために特別に設計された高性能な attention kernel ライブラリです。Prefill および decoding ステージにおける sparse attention と dense attention の両方に対して最適化された実装を提供します。本ライブラリは FP8 KV cache のような高度な機能をサポートしており、SM90 や SM100 を含む様々な GPU アーキテクチャと互換性があります。

ユースケース
  • 01Prefill および decoding ステージ向けの token-level sparse attention
  • 02高性能な prefill および decoding を実現する dense attention kernel
  • 03メモリと計算効率を最適化する FP8 KV cache のサポート

// FlashMLA

FlashMLA は DeepSeek-V3 および DeepSeek-V3.2 モデルを駆動するために特別に設計された高性能な attention kernel ライブラリです。Prefill および decoding ステージにおける sparse attention と dense attention の両方に対して最適化された実装を提供します。本ライブラリは FP8 KV cache のような高度な機能をサポートしており、SM90 や SM100 を含む様々な GPU アーキテクチャと互換性があります。

ユースケース
  • 01Prefill および decoding ステージ向けの token-level sparse attention
  • 02高性能な prefill および decoding を実現する dense attention kernel
  • 03メモリと計算効率を最適化する FP8 KV cache のサポート