首页AIBasedHardware/omi
BasedHardware

omi

AIAIWearableSwiftFlutterPython
近期趋势热门
总收藏数111
GitHub 上查看完整项目前往 GitHub

项目简介

Omi 是一个开源平台,通过捕获桌面、移动和可穿戴设备上的屏幕活动与对话,充当用户的第二大脑。它提供实时转录、自动摘要以及 AI 驱动的聊天界面,帮助用户回忆曾经看到或听到的信息。该系统支持广泛的硬件集成和开发工具,旨在促进自定义应用程序的构建。

技术分析

Omi 是一个开源 AI 平台,旨在通过捕获、转录和总结桌面、移动和可穿戴设备上的屏幕活动及实时对话,充当用户的“第二大脑”。其架构采用多平台方案,结合了用于桌面的 Swift/Rust、用于移动端的 Flutter,以及基于 Python 的 FastAPI 后端,通过先进的 AI 流水线处理音频和视觉数据。通过将硬件可穿戴设备与基于云的转录和 LLM 服务相结合,该项目解决了专业人士在信息留存和上下文管理方面的问题,并优先考虑支持自定义应用开发和硬件集成的模块化设计。

核心亮点

1
提供对话和屏幕活动的实时转录与总结,帮助用户留存信息。
2
支持广泛的平台,包括 macOS、iOS、Android 以及自定义 AI 可穿戴硬件。
3
具备模块化后端架构,集成了用于语音转文字的 Deepgram、用于存储的 Firebase 以及用于智能分析的各种 LLM。
4
包含可扩展的应用开发框架,允许开发者构建自定义工具、聊天集成和音频流应用程序。
5
提供开源硬件设计和固件,适用于 Omi 可穿戴设备和 Omi Glass 等设备,使用户能够构建或定制自己的捕获硬件。
6
提供全面的 Python、Swift 和 React Native SDK,以促进与 Omi 生态系统的无缝集成。

典型使用场景

1
实时转录并总结对话内容与屏幕活动
2
AI 驱动的聊天助手,可维护过去交互的可搜索记忆
3
支持桌面、移动端及自定义开源 AI 可穿戴设备的跨平台功能

快速开始

若要开始使用,您可以直接从提供的链接下载预构建的 macOS 应用或移动应用程序。对于开发者,您可以克隆存储库并使用提供的 shell 脚本运行桌面应用程序,或者按照完整的安装指南,使用 Rust 和 Python 的先决条件来设置本地后端堆栈。

相关项目