Inference

FastDeploy 是基于飞桨的大语言模型与视觉语言模型推理部署工具包，旨在提供开箱即用的生产级部署方案。该工具支持多种主流硬件平台，并集成了负载均衡式PD分解、统一KV缓存传输及多种高级加速技术。开发者可通过兼容 OpenAI API 的接口实现快速部署，并利用全量化格式支持优化推理性能。

RTP-LLM 是由阿里巴巴基础模型推理团队开发的高性能大模型推理加速引擎。该引擎已在淘宝、天猫等多个阿里业务场景中广泛应用，支持多种主流模型格式与硬件后端。它通过集成先进的算子优化、量化技术及分布式推理能力，为大规模语言模型提供高效的生产级服务。

Willow Inference Server 允许用户自托管用于各种应用程序的高速语言推理任务。它支持包括 speech-to-text、text-to-speech 和大型语言模型处理在内的核心功能。用户可以通过项目网站和 GitHub discussions 获取官方文档和社区支持。

Tair KVCache 是阿里云开发的一套系统，旨在通过分布式内存池和动态多级缓存技术加速大语言模型推理。该项目提供了一个用于全局 KVCache 元数据和存储容量的集中式管理器，确保了高效的数据可靠性和资源利用率。此外，它还包含一个高保真仿真工具，允许开发者在无需实际 GPU 资源的情况下预测性能指标。

Recursive Language Models (RLMs) 提供了一种任务无关的推理范式，使语言模型能够通过程序化分解和递归自调用来处理近乎无限的上下文。该框架用特定的 RLM 接口取代了标准的补全调用，将上下文卸载到 REPL 环境中进行交互式执行。本仓库提供了一个可扩展的引擎，支持各种本地和基于云的沙箱环境，以促进复杂的多步语言模型推理。

Shimmy 是一个轻量级的单二进制文件服务器，为在本地运行 GGUF 模型提供了 100% 兼容 OpenAI 的 API。它具备零配置模型发现、自动 GPU 后端检测以及针对大模型的高级 CPU/GPU 混合处理功能。该工具专为隐私和性能而设计，允许开发者无需更改代码即可将本地 LLM 集成到现有工具中。