Flex-RSI:前沿智能体在视觉与机器人任务中的递归自我改进基准
Flex-RSI是一个针对视觉和机器人任务的智能体递归自我改进基准。该基准允许智能体在固定预算下利用反馈改进其解决方案及自身架构(包括提示词、工具和记忆)。评测涵盖感知、推理、机器人操作、3D重建等多个领域,发现当智能体构建自身解决方案时自我改进最有效,且编辑执行器本身对增益有显著贡献。
推荐理由:Flex-RSI基准评测了智能体在视觉与机器人任务中的递归自我改进能力,发现编辑执行器本身对提升效果至关重要。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
Flex-RSI是一个针对视觉和机器人任务的智能体递归自我改进基准。该基准允许智能体在固定预算下利用反馈改进其解决方案及自身架构(包括提示词、工具和记忆)。评测涵盖感知、推理、机器人操作、3D重建等多个领域,发现当智能体构建自身解决方案时自我改进最有效,且编辑执行器本身对增益有显著贡献。
推荐理由:Flex-RSI基准评测了智能体在视觉与机器人任务中的递归自我改进能力,发现编辑执行器本身对提升效果至关重要。
论文指出视觉语言模型少样本适应时梯度估计存在严重校准偏差,但小幅度梯度的符号仍具信息量。为此提出 SignSparseSGD 和 DynSignSparseSGD 两种无需维护状态、仅利用梯度符号的优化器。
推荐理由:针对少样本适应中梯度估计噪声大的问题,提出无需维护状态且仅利用梯度符号的优化器,在多项基准上表现优异。
论文提出通用 AI 模型可直接控制机械臂的代理操纵策略(AMPs),无需演示或特定训练即可在 RoboLab-120 和 CaP-Gym 基准上达到最先进结果。AMP1 参考框架支持单臂、双臂及移动操作,在真实世界实验中零样本成功率达 85.6%,显著优于现有 VLA 和 WAM 策略。研究还展示了通过持久化记忆提升经验学习能力的潜力,相关代码与视频已公开。
推荐理由:该文提出通用 AI 代理策略在零样本任务中优于专用 VLA/WAM,并开源参考框架 AMP1。
该研究开发了一种集成 36 通道电触觉阵列与电容触摸感应的可穿戴触觉输入输出设备,在 24 名参与者中揭示了显著的个体间感知变异性。基于此,作者提出了一个人机环校准框架,通过前向预测策略为每个用户生成个性化感知模型,并实现了针对特定用户的逆渲染。该平台已在机器人遥操作、视觉到触觉的感官替代、人际触觉通信及虚拟现实等场景中演示了个性化的触觉渲染能力。
推荐理由:原文提出了基于人体在环的校准框架,利用可穿戴设备生成个性化触觉感知模型以支持逆渲染。
作者提出了 PoseRieFlow 框架,用于条件生成全身 3D 人体姿态。该方法直接在 SMPL-H 关节旋转的乘积流形上构建生成模型,利用黎曼测地线将样本从各向同性高斯先验传输至数据分布。
推荐理由:该工作提出基于黎曼流匹配的紧凑框架,在保持手部细节的同时实现了全身姿态生成中最低的关节运动学误差。
论文提出SURE框架,旨在解决视觉语言动作(VLA)策略对大量演示数据的依赖问题。该方法通过引入轻量级转置卷积概率动作解码器来捕捉空间不确定性,并利用Soft-DTW对齐监督来处理预测与演示之间的局部时序差异。实验在LIBERO、RoboTwin 2.0及真实操作任务上验证,结果显示即使仅使用10%的演示数据或20%的训练步数,SURE的操作成功率也能匹配或超越基线VLA模型。
推荐理由:SURE通过显式建模动作空间的空间与时间不确定性,在仅用10%演示数据或20%训练步数下即可达到基线水平。
论文发现机器人通过搜索对抗从人类偏好学习的奖励模型时,真实目标回报会受损;在 HalfCheetah 和 Hopper 等任务中,更难的 MPPI 搜索使真实回报下降最高达 76%,且人类标签在某些场景下仍被利用。研究证明经校准的χ²正则化 MPPI 是测试中最安全的修复方案,能从预训练策略中恢复 86-94% 的真实回报。
推荐理由:研究揭示基于人类偏好的奖励模型在规划搜索中易被利用,并提出经校准的采样控制方法以恢复真实目标回报。
arXiv 预印本论文 LACART 提出了一种结合前瞻控制屏障函数、松弛控制李雅普诺夫函数和二次规划的方法,旨在解决自动驾驶赛车场景下的碰撞避免与参考跟踪问题。该方法在仿真中显示具有更低的计算耗时,并展示了基于摄像头的估计与无线执行机构在小型车辆上的演示。论文还分析了前瞻点清除与车身清除之间的关联条件及硬件限制。
推荐理由:原文介绍了结合前瞻控制与二次规划的碰撞避免方法,并在仿真中验证了计算效率提升。
该论文提出了 DKWBC 框架,通过结合基于模型的逆动力学前馈学习与关节 PD 反馈来提供跟踪力矩,同时利用残差策略学习额外的关节力矩修正以维持平衡。实验表明,该方法在仿真和真实硬件上均能实现单一策略对多种运动数据集的泛化,并在地面支撑、附加负载及物理交互场景下保持准确的运动跟踪与平衡稳定性。
推荐理由:提出 DKWBC 框架,将运动跟踪与平衡解耦,在仿真和真机上验证了单一策略在多任务下的泛化能力。
该论文介绍了一种专为奇异果设计的二组分光电软吸盘,旨在实现柔顺接触并定量感知末端执行器处的机械交互。研究在已知接触间隔内,利用光电信号对训练集之外的真实果实进行了准确的力估计:最佳浅层网络在分组留一折池化下的 R-squared 为 0.968(MAE=0.138 N),单均值光学响应映射的 R-squared 达 0.925。
推荐理由:该研究提出了一种针对奇异果的机电软吸盘,通过光电信号在未见过的真实果实上实现了高精度的接触力估计与软硬分级。
针对视觉语言动作(VLA)模型在复杂三维场景中执行长程任务时面临的记忆噪声问题,该研究提出了一种受海马体启发的记忆机制。该方法首先通过语义整合将大量情景经验压缩为关键语义记忆;其次利用剪枝机制移除被语义记忆覆盖的冗余情景记忆以释放容量;最后通过灵活的记忆组合增强跨场景泛化能力。
推荐理由:该工作提出海马体启发的记忆机制,通过语义整合与冗余剪枝提升 VLA 模型在复杂三维场景中的长程任务成功率。
论文介绍了 A2-MEAS 具身多智能体框架及 A2-WLA 动作模型,利用代码作为扩展接口结合 MetaBrain 进行训练监督与运行时引导。在 BEHAVIOR 2026 基准上 Q-score 达 0.5755-0.6411,RoboTwin 2.0 平均成功率超 93%,真实机器人长程任务失败后恢复率从 8% 提升至 82%,训练吞吐量提升 4 倍。
推荐理由:该框架通过代码接口与冻结权重的自适应设计,在仿真与真实机器人任务中均实现了显著的性能提升。
论文提出了 DobotTrack,这是一个结合辅助 grounding 监督与高效时序建模的视觉 - 语言 - 动作(VLA)框架,旨在让移动智能体根据描述识别目标并持续跟踪。
推荐理由:该工作提出 DobotTrack 框架,通过辅助监督与历史特征压缩提升目标跟踪成功率,并在四足机器人上构建了大规模真实数据集。
本文提出一种范式,独立变化图像内容与注入的概念方向,测试视觉语言模型能否区分所见图像与注入思想。实验显示,在六种 VLM 中仅有 Gemma-3-27B 能可靠识别注入概念,但报告来源仍不稳定;强注入或视觉路径激活常被误报为看见,且真实照片中注入物体出现在高达 87% 的普通描述里。该研究强调评估多模态自我报告需同时检查内容及其声称的来源。
推荐理由:该研究揭示了多模态模型在区分注入概念与真实图像内容时的脆弱性,指出仅凭生成文本无法可靠评估其内部状态。
针对大视觉语言动作(VLA)模型难以实时运行而小模型易失败的问题,提出 VLA handover 方案,让机器人本地运行小 VLA,仅在预测可能失败时切换至服务器端的大 VLA。该方法通过最小化请求成本并满足成功率约束,在 LIBERO 仿真套件中相比纯小模型提升 11-22 个百分点的成功率,同时比纯服务器控制减少 49-77% 的请求量且对网络延迟更鲁棒。
推荐理由:提出基于失败预测的 VLA 切换框架,在仿真中显著提升成功率并降低服务器请求量。
针对现有 VLA 模型缺乏技能保留与长程组合能力的局限,PRISM 将可复用技能表示为参数级原语,利用低秩动作专家适配器存储技能家族,并通过 VLM 条件化的路由器在推理阶段根据任务前缀动态组合技能。
推荐理由:PRISM 提出基于低秩更新的技能原语与路由机制,在 RoboCasa365 上显著提升了原子技能与长程复合任务的成功率。
针对烟雾、黑暗及隐私敏感环境下的机器人感知需求,本文提出将人与环境视为时变散射场的统一框架,并推导了基于带宽、孔径、信噪比等参数的联合定位误差理论下限(Cramer-Rao 型)。研究利用现有帧融合、多视角和姿态估计方法作为探针验证该理论,实验表明增加第二视角可将关节平均位置误差从约 97mm 降至 65mm,而更强估计器主要通过补全无法解析的关节来降低整体误差。
推荐理由:该文建立毫米波雷达人体感知的误差理论下限,并通过实验验证不同策略对误差的影响方向与幅度。
该论文提出了 VICTR 框架,旨在解决机器人基础模型在未见任务中仅凭视觉相似性进行上下文检索的局限性。研究引入了一种基于参考演示、语言指令和当前观测的“进度感知”上下文检索机制,通过估计任务相对进度来对齐当前状态与已演示的执行阶段。
推荐理由:针对 VLA 模型在未见任务中上下文检索效果受限的问题,提出基于进度感知的价值函数估计框架,显著提升了真实世界操作任务的成功率与进展率。
论文提出了 ForPC 框架,旨在解决人形机器人在不修改工作场所的情况下操作现有手推车以搬运重物的难题。该框架通过两阶段强化学习调节车速,首先训练运动先验以提供平衡支持,随后基于车载观测推断力潜变量和状态潜变量(无需外部传感器),并协调手臂、腰部与腿部的调整及基座速度指令。
推荐理由:提出无需外部力传感器的全身控制框架,在仿真中训练即可将人形机器人推重达 30kg 的推车速度误差降低 68.2%。
芯驰科技正式开源D9-MAX软件SDK,该SDK基于车规级异构单芯底座,主要面向具身智能“小脑”场景,旨在为物理AI和机器人研发提供底层算力与软件支持。针对传统多板架构的痛点,D9-MAX芯片在一颗芯片内融合感知、运控与安全岛功能,其基于ARM DynamIQ Shared Unit技术,将12核CPU划分为8核与4核两个物理独立集群,实现运控与交互任务的物理硬隔离。
推荐理由:芯驰科技开源面向具身智能的D9-MAX软件SDK,提供车规级异构单芯底座与实时协议栈,支持6轴运动控制与功能安全认证。