↻RSIAgent

01 是什么,能解决什么问题

固定模型参数 · 通过外部记忆学习

让 Agent 在新环境中,积累可复用经验。

RSIAgent 是一个无需更新模型参数的自进化研究框架:执行、验证、整理记忆,指导下一次任务。

↗

新环境不熟悉

主动练习与探索
积累操作方法和环境约束

↻

同类错误反复发生

把成功与失败整理成经验
供后续任务检索复用

⌖

目标暴露能力弱点

规划针对性练习
用新经历补充已有记忆

02 怎么做的

接入 Harness:入口、学习循环、返回主任务

接到 Harness 后:谁启动学习,如何回到主任务?

接入设计示意 · 触发策略需由 Harness 实现
HARNESS · 任务入口接收任务并准备上下文

加载环境、任务目标与已有记忆
没有历史经验时,从空记忆开始

HARNESS · 配置的学习策略判断本次是否进入 RSI

例如:预先启用探索,或失败后补练
传入学习方向、执行权限与预算

RSI · CURRICULUM规划下一次学习经历

读取目标、记忆与已有反馈
决定安排练习,或直接交回控制权

需要学习 ↓ Harness 调用 RSI 并安排练习环境无需学习 ↘ 直接进入主任务执行
HARNESS / RSI 编排层:调用角色、隔离练习、提交版本并行时全部有效验证后,原 Actor 按顺序提交
练习 ACTOR执行练习

读已有记忆、操作软件
首轮记忆为空也可执行

VERIFIER独立检查结果

原始要求 + 实际产物
返回结论与证据报告

同一个 ACTOR整理本次经验

结合经历和验证报告
蒸馏、修订、整理记忆

编排层 → MEMORY保存持久记忆

检查边界、保存快照
新版本供后续任务使用

PASS / FAIL才进入经验学习;UNVERIFIED先补查证据
RSI 编排层再次调用 Curriculum

这次带上已提交的记忆、练习结果,以及可用的学习诊断

↻ 继续探索设计下一批练习,回到执行与验证
→ 本轮学习完成返回记忆版本、学习状态与记录
■ 停滞 / 预算耗尽 / 异常返回真实状态,由 Harness 决定后续
每轮都继承新记忆:设计练习 → 执行 → 验证 → 学习 → 提交 → 再规划
返回 HARNESS · 主任务生命周期接收学习状态,用当前记忆执行 / 重试主任务

检查主任务结果 → 成功则交付;失败时按配置决定修复、再补练或停止

Curriculum 的“准备好”只结束本轮学习,不代表主任务已经成功。
Harness 管入口与主任务,RSI 管练习与经验积累,Memory 连接两次执行。

原库的三阶段协议(与上方 Harness 接入示意区分)

01

广泛探索

多分支并行练习 → 独立验证
→ 原 Actor 按顺序合并经验

02

针对目标深入练习

尝试目标 → 学习 → 针对性补练
→ 新 Actor 用新记忆重试目标

03

冻结记忆评测

关闭练习与记忆回写
→ 执行、验证结束后官方评测

03 边界在哪儿

任务结果、经验正确性、长期收益分开看

已具备的闭环

独立检查本次任务结果

Verifier 探测实际产物;检查质量仍依赖模型与证据。

更新、继承与追溯外部记忆

Actor 整理经验;宿主提供隔离、快照和恢复。

尚未建立的保障

经验正确性与更新收益验收

没有独立知识验收、新旧记忆对照、回归与防退化发布门槛。

成熟的长期记忆服务

尚缺统一语义检索、过期治理和多用户管理;不更新模型权重。

Verifier 验证“这次做对了吗” ≠ 验证“这条经验让以后更好吗”。
适合作为迭代底座;下一步补记忆收益评估与防退化。候选记忆 → 对照 / 回归 → 发布或回退