ホームLLMXiaoMi/xiaomi-miloco
XiaoMi

xiaomi-miloco

GitHub で見る →
2,549

// 概要

Xiaomi Miloco は、オンデバイスの LLM を活用して IoT デバイスを統合および制御するオープンソースのスマートホームソリューションです。カメラのデータストリームを活用することで、複雑なホームオートメーションやイベント分析のための自然言語対話を実現します。視覚的な理解やタスク計画をユーザーのハードウェア上でローカルに実行し、ユーザーのプライバシーを最優先します。

// 技術解説

Xiaomi Miloco は、独自開発のオンデバイス LLM を活用して自然言語対話によるホームオートメーションを実現する革新的なスマートホームフレームワークです。Xiaomi Home カメラからの視覚データを LLM ベースの計画・理解エンジンと統合することで、ユーザーは手動プログラミングなしで複雑かつ創造的なホームルールを定義できます。このアーキテクチャは、すべての視覚処理とモデル推論をローカルで実行することでプライバシーとセキュリティを優先し、生のセンサーデータとインテリジェントで意図に基づいたデバイス制御との間のギャップを効果的に埋めます。

// 主要ハイライト

01
複雑なホームルールの設定や IoT デバイスの制御に自然言語対話を導入し、従来の硬直的な設定を置き換えます。
02
オンデバイスモデルの Xiaomi MiMo-VL-Miloco-7B を使用してローカルで動画理解を行い、データをクラウドに送信せずユーザーのプライバシーを保護します。
03
ホームオートメーションのタスクを計画と視覚理解の段階に分割し、ユーザーのクエリに対して正確で文脈を理解した応答を提供します。
04
Xiaomi Home エコシステムと直接統合し、デバイスコマンドや自動化シーンのシームレスな取得と実行を可能にします。
05
Xiao Home 通知を通じたカスタマイズされたコンテンツ配信をサポートし、AI とユーザー間のフィードバックループを強化します。

// ユースケース

01
Xiaomi Home IoT デバイスおよびシーンの自然言語制御
02
カメラストリームを使用したオンデバイスでの視覚的理解とイベント分析
03
会話型 AI を通じて定義されるカスタマイズ可能なホームオートメーションルール

// クイックスタート

開始するには、8GB 以上の VRAM を搭載した NVIDIA GPU と、Linux ベースの環境または Windows 上の WSL2 を含むシステム要件を満たしていることを確認してください。コマンドラインから提供されているワンクリックインストールスクリプトを実行することでセットアップを開始でき、必要な Docker 設定が自動的に処理されます。インストールが完了したら、プロジェクトの usage ドキュメントを参照して、ローカルのスマートホーム環境の設定を開始してください。