谷歌开源 Harness²:让大模型在运行中自我魔改代码与提示词
谷歌开源了名为 Harness² 的框架,旨在解决递归自我改进(RSI)在真实开放世界中缺乏标准答案和过度拟合的问题。该系统采用双层递归架构:任务级递归通过提议 - 探测 - 合成机制在无裁判环境下进行行为对比以修补缺陷;改进级递归则将调试记录沉淀为元能力存入经验库,供后续任务检索复用。
推荐理由:谷歌开源 Harness²,通过双层递归架构实现 Agent 在运行中的自我修补与经验沉淀,显著提升了多基准任务表现。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
谷歌开源了名为 Harness² 的框架,旨在解决递归自我改进(RSI)在真实开放世界中缺乏标准答案和过度拟合的问题。该系统采用双层递归架构:任务级递归通过提议 - 探测 - 合成机制在无裁判环境下进行行为对比以修补缺陷;改进级递归则将调试记录沉淀为元能力存入经验库,供后续任务检索复用。
推荐理由:谷歌开源 Harness²,通过双层递归架构实现 Agent 在运行中的自我修补与经验沉淀,显著提升了多基准任务表现。
新加坡具身创企 Ropedia 联合南洋理工大学等机构发布了跨本体移动操作世界模型 Ropedia W0。该模型基于视频扩散架构,通过统一的动作表示(相机运动与投影骨架)实现人类、机械臂及人形机器人间的预测能力迁移。
推荐理由:该团队构建的跨本体世界模型在五大评测基准中均排名第一,且未经后训练即可超越全量数据训练的竞品,展示了显著的少样本优势。
该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
推荐理由:该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
论文提出 Analytic Robot Self-Model,该方法利用多视图图像和关节读数建立高斯外观模型并推断刚体连杆分配,同时通过稀疏末端执行器位姿独立识别度量螺旋轴。
推荐理由:提出无需变形网络或 CAD 模板的解析式机器人自建模方法,通过多视图与关节读数显式学习运动学参数。
GroundingPI 是一个 4B 参数的接地基础模型,通过生成共享词汇表中的量化坐标(点和框)来精确指定目标物体及其位置。该模型结合多模态与空间预训练、监督微调及 GRPO 强化学习,在涵盖 11 种感知能力的 34 个基准上平均达到 73.68% 的准确率,超越 GPT-6 Astra(71.54%)。
推荐理由:该论文提出 GroundingPI 模型,在多项感知基准上超越 GPT-6 Astra,并证明专用感知预训练对机器人操作和自动驾驶的有效性。
该研究提出在自监督预训练中,像素重建方法在手写文本识别任务上优于对比学习方法,因为判别信号集中在高方差方向。作者在六个基准数据集上测试了六种自监督学习(SSL)方法,发现基于像素的 SSL 在所有基准上均取得最低字符错误率(CER),且对标签效率更高。
推荐理由:实验证明像素重建在自监督手写文本识别中优于对比学习,且高方差子空间对齐能预测性能。
针对从人类视频中学习操作技能难以横向比较的问题,作者提出 RoboReel 统一评测基准。该基准包含捆绑的真实世界人类演示视频、仿真机器人轨迹及十个操作任务的评估环境。
推荐理由:提出 RoboReel 统一基准,涵盖真实演示视频、仿真轨迹与十项操作任务,评估视觉语言动作模型在抗干扰及长程任务上的表现。
论文介绍 ADEPT 框架,旨在通过大规模强化学习在多自由度机器人本体上实现从原始视觉 - 触觉感知直接求解长视界任务的 sim-to-real 灵巧性迁移。该方法先在通用物体放置任务上预训练灵巧策略,再以后训练下游策略,解决了多指机器人难以从零发现新行为的问题。
推荐理由:论文提出 ADEPT 框架,通过预训练与后训练结合强化学习解决多指机器人灵巧操作难题,并开放了相关代码。
针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。
推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。
针对视觉语言动作模型(VLA)在处理需要精确物理交互的接触丰富任务时表现不佳的问题,该研究识别了精度失效和力失效两种主要模式,并提出 FACT 方法进行改进。FACT 通过在后期训练增加低噪声采样以优化精细动作预测,并引入结构化力条件引导动作生成。在涵盖近 2,500 次真实世界部署的评估中,该方法在五类接触丰富任务上的平均成功率达到 66%,优于最佳基线方法的 41%。
推荐理由:该工作通过 FACT 方法在接触丰富任务中将成功率提升至 66%,为理解 VLA 失效模式及改进提供了新视角。
FELT 是一个利用现有成对视觉 - 触觉数据学习接触感知表征的框架,通过冻结视觉编码器和独立的查询解码器为下游策略提供生成的触觉图像或接触感知特征。在四项富接触的真实机器人任务实验中,直接融入学习到的接触感知特征使成功率提升 15-22.5 个百分点,证明了该方法无需真实触觉硬件即可提升操作性能。
推荐理由:该框架利用视觉数据生成触觉表征,在四项真实机器人任务中使成功率提升 15-22.5 个百分点。
针对城市人行道导航中复杂结构与动态行人行为带来的挑战,本文提出 SidewalkBench 基准。该基准基于 NVIDIA Isaac Sim 构建,包含程序化生成与真实扫描的高保真场景,并集成了丰富的反应式行人事件与高效动画系统。
推荐理由:SidewalkBench 基于 Isaac Sim 构建高保真城市人行道仿真环境,对 9 个视觉导航模型在行人交互与长程任务上的表现进行量化评估。
该论文介绍 Perceptive BFM 框架,旨在解决现有运动中心基础策略假设参考动作已物理兼容环境的局限。方法包括开发地形一致参考合成(TCRS)技术,通过足点构建、摆动优化等将人类运动片段转化为符合地形参考;训练盲适应参考教师网络并通过目标帧动作对齐迁移至部署端学生模型;学生模型为身份门控 Transformer 追踪器,利用残差路径保留先验并仅在必要时进行局部修正。
推荐理由:该预印本提出将人类运动先验适配至机器人地形感知的框架,通过合成地形一致参考与盲适应教师网络实现策略迁移。
论文介绍 STRIPS-WM 框架,旨在解决机器人仅通过图像序列进行长视界视觉操作时的规划难题。该方法首先从图像中归纳有限抽象转换图,进而学习潜在二元谓词和每个动作标签对应的 grounded propositional 算子,构建具有稀疏前提条件和增删效果的符号化动作模型。
推荐理由:提出 STRIPS-WM 框架,从视觉过渡直接学习符号化世界模型,在视觉重排任务上优于现有基线。
论文提出 Novel Visual References Dataset (NVRD),包含 19,176 张图像,涵盖 90 个不同新颖度级别的视觉概念及扰动版本。研究对比了 3 款开源、2 款闭源模型与 2,400 名人类判断者,发现模型在违背预训练知识时难以通过上下文学习新概念,且存在显著过泛化现象,会将标签扩展至人类拒绝的样本。该数据集作为基准供人机视觉概念学习研究使用。
推荐理由:作者发布全新数据集 NVRD,用于评估模型在违背预训练知识时的新概念学习及泛化能力。
论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。
推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。
针对长视频理解中帧选择效率低且难以平衡信息量的问题,本文提出 LDDR(Linear-DPP Dynamic-Resolution)框架。该方法无需训练,通过任务感知的行列式点过程(DPP)在特征空间进行查询感知帧选择,并引入组 DPP 重要性评分以指导非均匀 token 预算分配:为关键帧保留更多 token 同时降采样冗余帧。
推荐理由:提出无需训练的 LDDR 框架,通过任务感知的 DPP 采样与动态分辨率分配,在视频 MLLM 低预算设置下提升 2.5 个点。
针对现有强化学习方法难以应对大环境变化导致表达力不足的问题,本文提出一种利用稀疏中间点(via-points)和轨迹导数保持运动学特征的新型高斯过程技能自适应框架。该方法包含优化、行为克隆和强化学习三种适应策略,在抽屉开启、推立方体和杆件操作三个任务中,仿真与硬件实验均优于所有基准,且能保持高运动学相似度和低速度误差。
推荐理由:提出基于高斯过程的技能自适应框架,在仿真与硬件上优于基准。
论文提出 SAGE 框架,旨在解决几何基础模型因缺乏大规模 3D 标注而进展受限的问题。该方法利用互联网视频流作为可扩展的适配来源,通过分层挖掘管道将视频转化为训练轨迹,并结合稀疏几何锚定与稠密可微一致性进行混合监督。
推荐理由:提出利用互联网视频通过弱监督信号对几何基础模型进行可扩展适配的方法,在多个基准上显著降低 Chamfer Distance。
针对现有视频编辑方法计算开销大且易出现时序不一致的问题,本文提出了 Edit-Your-Interest 这一轻量级、文本驱动且无需微调的视频编辑方法。该方法引入时空特征记忆库(SFM)缓存空间注意力特征,并提出基于相似度检索的特征最相似传播(FMP)规则以维持候选池代表性,从而在固定内存预算下减少全序列建模的计算负担并改善模糊与马赛克伪影。
推荐理由:提出轻量级零样本视频编辑方法,通过特征记忆库与相似度传播机制提升时序一致性并降低计算开销。