132
// 项目简介
Clicky 是一款开源 AI 教学助手，可直接集成到您的 macOS 环境中以提供实时指导。该应用程序利用屏幕录制、语音交互和光标控制功能，充当能够观察并与您的桌面进行交互的虚拟导师。用户可以通过配置 Cloudflare Worker 代理并使用 Xcode 构建基于 Swift 的应用程序，从而在本地部署该项目。
// 技术分析
Clicky 是一款由 AI 驱动的教育伴侣，设计为 macOS 菜单栏应用程序，可提供实时的屏幕感知辅助。通过集成屏幕截图、语音转录和文本转语音功能，它创造了一种交互式体验，使 AI 能够通过操控光标来直观地引导用户。该架构利用安全的 Cloudflare Worker 代理来管理敏感的 API keys，确保它们不会直接嵌入到应用程序二进制文件中。这种设计优先考虑用户隐私和模块化，允许开发人员通过定义明确的基于 Swift 的状态机来扩展代理的功能。
// 核心亮点
01
通过捕获视觉数据提供实时屏幕感知，帮助 AI 理解并与用户当前的工作区进行交互。
02
具有光标覆盖系统，允许 AI 使用基于坐标的命令在多个显示器上指向特定的 UI 元素。
03
通过 Cloudflare Workers 实现安全代理架构，防止敏感的 API keys 在客户端应用程序中暴露。
04
支持一键通话语音接口，将音频流传输到 AssemblyAI 进行转录，并使用 ElevenLabs 进行自然听感的文本转语音响应。
05
利用基于菜单栏的界面和透明覆盖窗口，在 AI 处于活动状态时保持非侵入式的存在。
06
包含一个 Swift 编写的集中式状态机，用于协调转录、LLM 推理和语音合成之间的复杂交互。
// 典型使用场景
01
实时屏幕分析与交互式指导
02
使用一键通 (push-to-talk) 与 AI 导师进行语音交流
03
自动移动光标以突出显示特定的 UI 元素
// 快速开始
首先，您可以使用 Claude Code 自动克隆存储库，并按照 CLAUDE.md 中的引导设置说明进行操作。或者，通过部署提供的 Cloudflare Worker 并填入您的 API keys，在 Swift 源代码中更新代理 URL，然后通过 macOS 上的 Xcode 15+ 构建项目来进行手动设置。