2,672
// 项目简介
Secret Llama 是一款完全在浏览器内运行的聊天机器人，允许用户在本地运行 Llama 3 和 Mistral 等开源模型。由于该应用程序直接在浏览器中运行，所有对话数据均保持私密，且无需进行任何服务器安装。该平台提供了一个用户友好的界面，在利用 WebGPU 技术提升性能的同时支持离线使用。
// 技术分析
Secret Llama 是一款基于浏览器的 LLM 聊天机器人，旨在通过利用 WebGPU 驱动的 web-llm 推理引擎，提供完全私密且支持离线使用的 AI 体验。通过在用户的浏览器中完全执行模型，它消除了对服务器端基础设施的需求，并确保敏感的对话数据永远不会离开本地机器。这种架构优先考虑了用户隐私和可访问性，但需要现代浏览器支持 WebGPU，并具备足够的系统 RAM 来处理特定的模型大小。
// 核心亮点
01
完全在浏览器内运行，确保所有用户对话数据保持在本地且私密。
02
完全离线运行，在初始加载后消除了对外部服务器或互联网连接的依赖。
03
利用 web-llm 推理引擎，直接在客户端硬件上提供高性能的模型执行。
04
支持多种开源模型，包括 Llama 3、Mistral 和 TinyLlama，以提供灵活的性能选项。
05
提供类似于 ChatGPT 的用户友好界面，使非技术用户也能使用先进的开源 LLM。
// 典型使用场景
01
完全在 Web 浏览器内运行私有 LLM
02
离线执行 Llama 3 和 Mistral 等开源模型
03
提供无需服务器端数据处理的类 ChatGPT 界面
// 快速开始
要开始使用 Secret Llama，只需在支持 WebGPU 的浏览器（如 Chrome 或 Edge）中访问托管网站即可。如果您希望在本地修改或构建项目，请克隆存储库，运行 'yarn' 安装依赖项，并使用 'yarn dev' 启动带有实时重载功能的开发环境。