litellm vs secret-llama

LiteLLM 是一个开源 AI 网关，它提供了一个统一的接口，可以使用标准的 OpenAI 格式调用超过 100 种不同的 LLM 提供商。它既可以用作 Python SDK 进行直接集成，也可以部署为代理服务器来管理负载均衡和支出跟踪等企业级功能。该平台通过消除对多个特定提供商 SDK 和身份验证模式的需求，简化了 LLM 的管理流程。

Secret Llama 是一款完全在浏览器中运行的聊天机器人，允许用户与 Llama 3 和 Mistral 等开源模型进行交互。它通过将所有对话数据保留在用户的本地计算机上来确保完全的隐私，且无需任何服务器支持。该平台提供了一个用户友好的界面，支持离线运行并利用 WebGPU 实现高效的模型推理。