| FastDeploy | 指标 | unregistry |
|---|---|---|
| 3,675 | 星标 | 4,721 |
| 78 | 评分 | 92 |
| AI | 分类 | DevOps |
FastDeploy 是基于飞桨的专业大语言模型与视觉语言模型推理部署工具包,旨在提供开箱即用的生产级部署解决方案。该工具包支持多种主流硬件平台,并集成了负载均衡、统一KV缓存传输及全量化格式支持等高级加速技术。开发者可通过兼容 OpenAI API 的接口实现快速部署,从而显著提升模型推理的吞吐量与资源利用率。
Unregistry 是一款轻量级工具,无需外部镜像仓库即可将 Docker 镜像直接传输到远程服务器。它利用 SSH 隧道技术,仅将缺失的镜像层高效地推送到目标主机。这种方法通过消除对中间存储或复杂注册表配置的需求,简化了部署工作流程。