star ・機能・トレンドを横並び比較
LiteLLM は、100 以上の LLM プロバイダーと一貫した OpenAI 互換フォーマットで対話するための統合インターフェースを提供します。開発者は Python SDK として直接統合したり、本番環境向けのプロキシサーバーとしてデプロイしたりできます。このプラットフォームは、ロードバランシング、支出追跡、仮想キーなどの機能を提供することで LLM 管理を簡素化します。
FlashMLA は DeepSeek-V3 および DeepSeek-V3.2 モデルを駆動するために特別に設計された高性能な attention kernel ライブラリです。Prefill および decoding ステージにおける sparse attention と dense attention の両方に対して最適化された実装を提供します。本ライブラリは FP8 KV cache のような高度な機能をサポートしており、SM90 や SM100 を含む様々な GPU アーキテクチャと互換性があります。