首页LLMalexzhang13/rlm
alexzhang13

rlm

AILLMInferencePythonREPLAgentic
前往 GitHub →
44

// 项目简介

Recursive Language Models (RLMs) 提供了一种任务无关的推理范式,使语言模型能够通过程序化分解和递归自调用来处理近乎无限的上下文。该框架用特定的 RLM 接口取代了标准的补全调用,将上下文卸载到 REPL 环境中进行交互式执行。本仓库提供了一个可扩展的引擎,支持各种本地和基于云的沙箱环境,以促进复杂的多步语言模型推理。

// 技术分析

Recursive Language Models (RLMs) 引入了一种与任务无关的推理范式,使语言模型能够通过程序化分解任务并递归调用自身来处理近乎无限的上下文。通过将上下文视为 REPL 环境中的变量,该系统允许模型交互并启动子 LM 调用,从而有效地卸载复杂的推理过程。这种架构优先考虑可扩展性和模块化,在本地执行速度与用于代码执行的隔离云沙箱的安全性之间提供了权衡。

// 核心亮点

01
通过允许模型递归分解和处理输入任务,实现对近乎无限上下文的处理。
02
提供了一个灵活的基于 REPL 的推理引擎,用可编程接口取代了标准的 LLM 完成调用。
03
支持多种执行环境,包括本地、Docker 以及像 Modal 和 E2B 这样的云端沙箱,以实现安全的代码执行。
04
内置日志记录和可视化工具,用于检查复杂的执行轨迹、子 LM 调用和代码生成。
05
保持与 OpenAI 和 Anthropic 等主要模型提供商的兼容性,同时通过 vLLM 支持本地模型。
06
提供用于低风险任务的非隔离本地执行,以及在代码生成期间降低安全风险的完全隔离沙箱。

// 典型使用场景

01
通过程序化分解处理近乎无限长度的上下文
02
在隔离的云端沙箱中执行递归子 LM 调用
03
通过集成的日志记录和检查工具可视化复杂的模型推理轨迹

// 快速开始

首先,使用 'pip install rlms' 安装该软件包。然后,您可以通过指定首选的后端和环境来初始化 RLM 客户端,并使用 'rlm.completion' 方法执行任务。对于高级用法,您可以配置 'RLMLogger' 将执行轨迹保存到磁盘,并使用提供的基于 Node.js 的可视化工具进行检查。