首页LLMXiaoMi/xiaomi-miloco
XiaoMi

xiaomi-miloco

前往 GitHub →
2,549

// 项目简介

Xiaomi Miloco 是一款开源智能家居解决方案,利用端侧大语言模型来集成和控制 IoT 设备。通过利用摄像头数据流,该系统能够实现复杂的家庭自动化和事件分析的自然语言交互。它通过在用户硬件上本地执行视觉理解和任务规划,优先保障用户隐私。

// 技术分析

Xiaomi Miloco 是一个创新的智能家居框架,利用自研的端侧 Large Language Model,通过自然语言交互彻底改变了家庭自动化。通过将 Xiaomi Home 摄像头的视觉数据与基于 LLM 的规划和理解引擎相结合,它使用户无需手动编程即可定义复杂且富有创意的家居规则。该架构通过在本地执行所有视觉处理和模型推理,优先考虑隐私和安全,有效地弥合了原始传感器数据与智能、意图驱动的设备控制之间的鸿沟。

// 核心亮点

01
支持通过自然语言交互来设置复杂的家居规则和控制 IoT 设备,取代了传统的刚性配置。
02
利用 Xiaomi MiMo-VL-Miloco-7B 端侧模型进行本地视频理解,通过将数据保留在本地来确保用户隐私。
03
将家庭自动化任务拆分为规划和视觉理解阶段,从而为用户查询提供准确且具有上下文感知能力的响应。
04
直接与 Xiaomi Home 生态系统集成,实现设备指令和自动化场景的无缝检索与执行。
05
支持通过 Xiao Home 通知进行定制化内容推送,增强了 AI 与用户之间的反馈闭环。

// 典型使用场景

01
对 Xiaomi Home IoT 设备和场景进行自然语言控制
02
使用摄像头数据流进行端侧视觉理解和事件分析
03
通过对话式 AI 定义可定制的家庭自动化规则

// 快速开始

首先,请确保您的系统满足硬件要求,包括至少 8GB VRAM 的 NVIDIA GPU 以及基于 Linux 的环境或 Windows 上的 WSL2。您可以通过命令行运行提供的“一键安装脚本”来启动设置,该脚本将处理必要的 Docker 配置。安装完成后,请参考项目的用法文档,开始配置您的本地智能家居环境。