alibaba

higress

DevOps#API Gateway#Kubernetes#Istio#Envoy#Wasm

8,096

// 概要

Higress は Istio と Envoy をベースに構築されたクラウドネイティブな API Gateway であり、Go、Rust、JavaScript で記述された Wasm プラグインによる拡張性をサポートしています。LLM API の統合管理や Model Context Protocol (MCP) サーバーのホスティングなど、AI アプリケーション向けの専門的な機能を提供します。Alibaba で開発されたこのプラットフォームは、高並列トラフィックへの対応とシームレスな設定更新により、本番環境レベルのパフォーマンスを実現します。

// 技術解説

Higress は Istio および Envoy をベースに構築されたクラウドネイティブな API gateway であり、AI ネイティブな機能に重点を置いた高性能なトラフィック管理を提供します。設定リロード時のトラフィックのジッターを排除し、gRPC、Dubbo、および AI モデル統合への強力なサポートを提供することで、従来の gateway の制限を解決します。Wasm プラグインを活用することで、アーキテクチャはメモリ安全性と拡張性を確保し、開発者はアクティブな接続を中断することなく Go、Rust、または JavaScript でカスタムロジックを実装できます。

// 主要ハイライト

マルチモデルのロードバランシング、トークンレート制限、可観測性などの機能を備え、主要な LLM プロバイダーをサポートする AI ネイティブな gateway を提供します。

プラグインを介して Model Context Protocol (MCP) Servers のホスティングを可能にし、AI エージェントが統一された認証でツールやサービスを安全に呼び出せるようにします。

Wasm ベースのプラグインアーキテクチャを利用して、トラフィックの損失や接続の切断なしに gateway ロジックのホットアップデートをサポートします。

Server-Sent Events (SSE) のような高帯域幅の AI シナリオに最適化された、リクエストおよびレスポンスボディの高性能なストリーミング処理を提供します。

Nginx ingress アノテーションと互換性があり、Kubernetes Gateway API をサポートする機能豊富な ingress controller として機能します。

Nacos、ZooKeeper、Consul などのさまざまなサービスレジストリとシームレスに統合され、複雑なマイクロサービス環境に適しています。

// ユースケース

AI Gateway: LLM プロバイダー向けに、統一されたプロトコルサポート、オブザーバビリティ、マルチモデル負荷分散、トークンレート制限を提供します。

MCP Server Hosting: 認証、レート制限、オブザーバビリティを統合した MCP サーバーをホストすることで、AI Agent がツールやサービスを呼び出せるようにします。

Kubernetes Ingress and Microservice Gateway: サービスディスカバリとセキュリティプロトコルとの深い統合により、高性能な Ingress Controller およびマイクロサービス Gateway として機能します。

// クイックスタート

Higress の利用を開始するには、Docker コマンドを1つ実行してローカルにデプロイできます。これには gateway と UI コンソールを含むオールインワンイメージが用意されています。Kubernetes 環境の場合は Helm を使用してプロジェクトをインストールでき、イメージのプルを高速化するためにリージョナルミラーレジストリを設定するオプションもあります。実行後はポート 8001 で UI コンソールにアクセスし、ルート、プラグイン、および AI gateway の設定を管理できます。