93
// 项目简介
llmfit 是一款基于终端的实用程序，用于分析您的系统硬件，以确定哪些大型语言模型可以在您的特定配置上有效运行。它提供交互式 TUI 和 CLI，根据质量、速度和内存适配度对模型进行评分，同时支持 Ollama、llama.cpp 和 MLX 等多种后端。用户还可以执行硬件模拟，以测试不同模型配置在目标系统规格上的表现。
// 技术分析
llmfit 是一款基于终端的实用工具，旨在弥合硬件能力与大语言模型 (LLM) 需求之间的差距。通过自动检测系统规格（包括 CPU、RAM 和各种 GPU 架构），它能够根据模型的适配度、速度和质量进行评分和排名，从而有效解决了本地模型部署中手动试错的问题。该项目采用了一个复杂的评分引擎，考虑了动态量化、混合专家模型 (MoE) 架构以及上下文长度限制，为用户提供关于哪些模型在其特定硬件上表现最佳的可行性见解。
// 核心亮点
01
提供交互式 TUI 和 CLI，根据硬件特定的适配度、速度和质量评分对数百个模型进行排名。
02
具备硬件模拟模式，允许用户覆盖系统规格，以测试不同硬件配置下的模型兼容性。
03
通过根据活跃专家参数计算有效的 VRAM 需求，支持 MoE 等高级模型架构。
04
实现动态量化选择，自动选择适合可用内存的最高质量量化版本。
05
包含内置的 Web 仪表板和 REST API，用于远程监控以及与集群调度程序或外部脚本集成。
06
提供跨多种后端的全面硬件检测，包括 NVIDIA、AMD、Intel Arc、Apple Silicon 和 Ascend NPU。
// 典型使用场景
01
用于本地 LLM 执行的自动化硬件检测和模型兼容性评分。
02
硬件模拟模式，用于预测模型在不同 RAM、VRAM 和 CPU 配置下的性能。
03
支持 REST API 和 JSON 输出，以便将模型推荐集成到自动化工作流和集群调度程序中。
// 快速开始
要开始使用，请使用您首选的包管理器安装 llmfit，例如 Windows 上的 Scoop，macOS/Linux 上的 Homebrew 或 MacPorts，或者通过提供的 shell 脚本进行安装。安装完成后，只需在终端中运行 'llmfit' 命令即可启动交互式 TUI，或者使用 'llmfit recommend' 来获取针对您当前硬件的即时、机器可读的模型建议。