litellm

LiteLLM は、100 以上の LLM プロバイダーと一貫した OpenAI 互換フォーマットで対話するための統合インターフェースを提供します。開発者は Python SDK として直接統合したり、本番環境向けのプロキシサーバーとしてデプロイしたりできます。このプラットフォームは、ロードバランシング、支出追跡、仮想キーなどの機能を提供することで LLM 管理を簡素化します。

LiteLLM は、100 以上の LLM プロバイダーの統合を簡素化するために設計されたオープンソースの AI gateway であり、統一された OpenAI 互換インターフェースを提供します。プロバイダー固有の SDK、認証パターン、リクエスト形式の複雑さを抽象化することで、開発者はコードベースを書き直すことなく、モデル間をシームレスに切り替えることが可能です。このプロジェクトは、直接的なアプリケーション統合のための Python SDK と、spend tracking、load balancing、guardrails といったエンタープライズ機能を含む本番環境対応の proxy server の両方を提供し、現代の LLM 開発に内在する断片化の問題を効果的に解決します。