secret-llama vs DeepGEMM

Secret Llama 是一款完全私有的聊天机器人，利用 WebGPU 技术完全在您的网页浏览器中运行。它支持 Llama 3 和 Mistral 等各种开源模型，无需任何服务器端处理或软件安装。该平台提供了一个用户友好的界面，在确保所有对话数据严格保留在本地机器上的同时，还能实现离线功能。

DeepGEMM 是一个统一的 CUDA 库，专门为现代大语言模型提供高性能 Tensor Core 内核。它具备轻量级的 Just-In-Time 编译模块，无需在安装时进行复杂的 CUDA 构建。该库为包括 GEMMs、融合 MoE 和 MQA 评分在内的各种矩阵运算提供了专家级调优的性能。