S-Agent 2.0:具备通用编码能力的空间推理智能体
论文提出了 S-Agent 2.0,这是一个为现成通用编码代理配备命令行感知工具包的空间推理智能体。其设计原则是帮助视觉语言模型(VLM)闭合证据循环:获取场景证据、在持久化场景记忆中记住它,并用平实的空间语言解释每个读数。
论文提出了 S-Agent 2.0,这是一个为现成通用编码代理配备命令行感知工具包的空间推理智能体。其设计原则是帮助视觉语言模型(VLM)闭合证据循环:获取场景证据、在持久化场景记忆中记住它,并用平实的空间语言解释每个读数。
该报告介绍 Sage-A1.5,这是一个基于 A1 的 35B 参数混合专家智能体模型,旨在通过自适应能力组合推进长周期问题解决。相比前代,它不仅能解决单个任务,还能在执行中组织工作并修正方法。
大晓机器人正式发布视觉空间锚定增强型具身基模型ACE-Brain-0.6。该模型参数规模为9B,基于Qwen3.5-9B构建,通过冻结视觉编码器并对语言模型进行监督微调。
该论文提出了联合像素 -提示词优化(JPPO)框架,将可见提示词提升为对抗变量,在受控输入威胁模型下对图像和提示进行耦合分阶段优化。实验显示,该方法在多模态视觉语言模型上实现了显著的延迟与能耗放大效应,揭示了当前多模态服务防御的结构盲点,并推动了成本感知鲁棒性评估的需求。
Yuanhao Sun 提出 Cross-World On-Policy Distillation(CW-OPD),通过监督学生对不同视觉证据下答案变化的响应,确保其回答真正基于视觉信息而非仅匹配结果。
论文提出 MiDAS 方法,旨在解决预训练策略在新任务上零样本表现不佳的问题。核心发现是单个演示足以引导行为先验实现粗略的任务跟随,而通过冻结 VLA 表示进行基于价值的残差学习、以及精细的数据平衡,可将此粗糙能力转化为可靠的成功。实验在 LIBERO 和 RoboCasa 数据集及双臂 YAM 平台上验证了该方法能从仅偶尔成功的初始策略出发,经过数小时在线交互显著提升任务成功率。
ZOMP 是一种仅需前向传播的深层多模态提示微调方法,在 5,000 次训练损失查询下实现跨 13 个数据集的平均 16-shot 准确率 68.2%,较 ZIP 提升 6.0 个点。该方法在五个图文检索数据集上优于四种无导数基线,平均双向 Recall@1 比 BPT-VLM 高出 2.63 点,同时降低训练内存占用并支持内部提示推理接口。
论文研究了通用模型如何通过最小接口直接引导感知、行动、验证和自纠正的决策循环,提出‘具身代理控制’概念。研究评估了十四款前沿多模态模型在六个导航及问答基准上的表现,发现最佳代理在部分子集上超越已发表分数并接近人类测试者水平。
推荐理由:该研究评估了十四款前沿多模态模型在导航与问答任务中的表现,发现最小接口代理能接近人类水平,但受限于身体感知与空间理解。
论文提出 GemNav,一种将机器人局部航点坐标表示为离散度量值分数的概率分布并软解码为连续坐标执行的视觉导航策略。该方法利用度量距离目标采样构建训练轨迹,仅需 8.7 小时 SCAND 公开数据集即可训练,在未见环境和三种物理不同的机器人平台上实现了无需重新训练的跨平台迁移,且相比基于帧的采样和连续回归头展现了更可靠的避障与分布外泛化能力。
针对语言条件化操作系统难以区分任务变化与观测变化的问题,本文提出了 Sequential Planning via Anchored Robotic Keypoints (SPARK)。
本文研究了如何将针对文本域的智能体架构搜索(AAS)技术迁移至感知具身智能体领域。作者引入了 AgentCanvas 作为可编辑的有类型图表示,支持仿真执行与日志记录;将优化器从大语言模型调用循环升级为利用工具的编码智能体会话,并提出了知识蒸馏循环(KDLoop)。
EDITH 是一个机器人框架,通过智能眼镜实时流式传输人类的第一人称视角、视线及语音(转录为语言指令),利用分层策略将高层意图推断与子任务序列生成相结合。实验表明,即使人类仅短暂表达非语言信号,该框架也能让机器人据此行动,显著降低用户传达意图的 effort。
针对预训练视觉语言模型语义空间与具身控制策略的结构不匹配问题,本文提出 AffordanceVLA 框架。该框架引入结构化机会学习作为任务导向和对象中心的中间表示,通过 Which2Act、Where2Act 和 How2Act 三个互补组件建立精确的感知 - 动作映射。
针对现有视觉语言动作(VLA)策略仅基于当前观测进行反应式操作、缺乏未来动态建模的局限,本文提出 ELAN4D 框架。该方法利用本体感知状态的正运动学推导机器人关键点(如关节和末端执行器)的三维位移轨迹,将其作为预测性的时空监督信号注入动作专家分支,同时通过梯度隔离保留预训练的视觉语言主干网络。
针对通用机器人操作模型难以泛化到未见任务的挑战,该研究提出 VLA-Pro 框架,通过在训练阶段存储任务特定的 LoRA 适配器作为程序性记忆,并在推理时根据多模态上下文检索并动态融合这些记忆以生成动作。
针对现有模仿学习缺乏显式子目标监督导致难以协调多阶段任务的局限,该工作提出 SADP 框架,利用基础模型自主生成带子目标标注的演示数据,并训练扩散策略。方法通过任务级与子目标级描述联合条件化动作生成,并利用轻量辅助头预测续写分数以驱动在线子目标切换及进度监控。
本文针对现有视觉语言模型(VLM)测试时扩展方法依赖开源权重或昂贵采样的局限,提出 Test-Time Hinting 方法。该方法基于 VLM 错误模式可预测的观察,训练轻量级提示生成器以输入为条件预测应添加的上下文或流程指引,从而在不泄露答案的情况下引导闭源模型避开典型失败模式。
论文介绍 BioProVLA-Agent,这是一个由 VLA 模型赋能的、用于生物实验室操作的廉价且协议驱动的多智能体系统。该系统将协议作为任务接口,整合了协议解析、视觉状态验证与具身执行,形成闭环工作流。
该研究针对现有端到端导航策略在远距离或跨房间场景中易迷失的问题,提出分层推理导航框架。该方法利用视觉语言模型生成高层短视域规划(如通过门还是走走廊),再由在线强化学习策略执行低层动作,并引入游荡抑制惩罚减少无效探索。实验表明该方法在仿真与真实环境中均优于现有方法。
推荐理由:提出分层推理导航框架,将长程任务拆解为高层规划与低层执行,并引入游荡抑制惩罚以解决远距离目标定位难题。
针对自动驾驶中视觉语言动作模型接收到的离散文本指令难以关联环境约束的问题,该研究提出了因果场景叙述方法,通过在推理阶段进行意图与约束对齐、量化 grounding 及结构化分离来优化输入。
推荐理由:该研究提出在推理阶段重构 VLA 文本输入的方法,在多城镇 CARLA 测试中显著提升了路线完成率,并验证了其对感知噪声的鲁棒性。
该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。
推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。
论文针对视频生成模型缺乏机器人可执行性约束的问题,提出 Executable Video Alignment (EVA) 框架。该方法在机器人演示数据上训练并冻结逆动力学模型(IDM)以解码动作,利用惩罚非平滑运动及违反速度加速度限制的动作空间反馈奖励,指导视频生成器的强化学习更新。
RoboPocket 是一个基于智能手机的机器人策略迭代系统,结合端侧感知与云端推理,提供实时采集引导并将策略预测轨迹以增强现实(AR Visual Foresight)形式可视化。该系统允许用户在不部署物理机器人的情况下识别策略弱点并收集针对性修正数据,实现了无需机器人的 DAgger 式修正循环。在多种真实世界操作任务中验证表明,在线修正数据采集相比仅扩展离线演示的样本效率最高提升 2 倍。
KungfuAthleteBot 是一个针对人形机器人的统一框架,旨在解决从视频学习高动态动作时存在的漂移、信息缺失及鲁棒性不足问题。该工作联合专业武术家构建了高质量数据集,引入物理引导的抛物线轨迹修正以消除高度漂移和抖动,并设计了三阶段课程学习策略。
推荐理由:该工作提出统一框架,通过物理引导轨迹修正与免教师训练范式,实现了人形机器人从视频学习高动态动作及快速跌倒恢复。
论文提出了 Stellar VLA 框架,旨在解决视觉语言动作(VLA)模型的持续学习难题。该方法无需增加额外参数或模块,通过联合优化任务表示与自演化知识空间,利用知识后验引导的专家路由和 Top-K 语义嵌入实现任务专业化。
论文提出 BFM-Zero 框架,旨在统一人形机器人的多样化控制任务。该框架利用无监督强化学习和前向 - 后向(FB)模型构建共享隐空间,将动作、目标与奖励嵌入其中,支持在不重新训练的情况下通过提示进行下游任务适配。实验在宇树 G1 真机上进行,验证了其在零样本运动追踪、目标到达及奖励优化等任务上的有效性,并展示了从仿真到现实的迁移能力。
推荐理由:提出 BFM-Zero 框架,利用无监督强化学习与前向 - 后向模型构建可提示的共享隐空间,在宇树 G1 真机上实现零样本运动追踪与目标到达。
针对直接应用大语言模型进行多机器人编队控制时易出现行为不稳定或发散的问题,本文提出 LLM-Flock 框架。该框架通过基于影响的共识协议让机器人迭代优化编队计划以实现无中心协调,并采用结合大模型紧迫性推理与程序化碰撞检查的双层避障策略。
RefCraft 基准包含 300 个结合自然语言指令与 1-5 张截图参考的网页开发任务,要求智能体在渲染中迭代优化输出。对九种前沿大模型测试显示,最强系统整体得分仅 52.12/100,表明视觉参考条件生成仍是当前挑战。该预印本通过独立可验证关键点及程序化与 VLM 裁判器评估开放-ended 产物。
论文介绍 VaDar 算法,该算法训练单一不依赖子目标的策略以最大化各子目标评论家值的线性组合。实验显示其性能优于或等于目标条件化等基线,且能处理非顺序目标结构任务。VaDar 是首个在 RoboCasa 套件中解决长程任务的算法,即使从行为克隆预训练的、初始成功率接近零的策略开始也能成功。材料为 arXiv 预印本,未提及同行评审状态或真实机器人部署结果。
针对模仿学习中专家演示稀缺及依赖昂贵人工标注的问题,本文提出了 Progress-Guided Preference Generation (PGPG) 无监督偏好对齐框架。
针对视觉语言模型中视觉干预联合效应难以精确识别的问题,本文提出有限交互透镜(FIL)这一混合精度评估方法。该方法将输入分解为原生状态、单干预分量及高维混合残差,在更高精度下投影单干预分量并复用数值贡献,同时保留混合残差与非线性轨迹。
该研究提出 VLA-Rolling 框架,利用视觉语言动作(VLA)模型生成的动作尾部作为初始化,替代从头生成噪声的方式。在冻结底层 VLA 模型的情况下,该方法在 LIBERO、MetaWorld 等六个基准的十六对模型组合中均降低了推理成本,最高提速 1.48 倍,并在十四对中提升成功率最多 15.08 个百分点。项目代码与资源已公开。
论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。
推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。
论文 SAGE-CP 指出自适应视觉语言模型(VLM)集成在早期退出和升级输入的路径上存在覆盖率不均衡问题,提出通过冻结路由选择并分别校准分数来实现每条路径的有限样本覆盖。实验显示该方法在保持边际覆盖率的同时,将最差路线覆盖率从 0.623 提升至 0.887,并将路线覆盖率差距从 0.324 降至 0.025,同时比完整集成减少约 70% 的源调用次数和 GPU 能耗。
针对多模态强化学习奖励中视觉推理错误定位困难及教师修正受非视觉因素干扰的问题,提出一种基于视觉证据的可归因自蒸馏范式。该方法通过 Visual-Attribution Gating 机制,利用验证器优势作为优化锚点,并对比证据存在与退化视图来过滤不一致的残差,从而保留视觉引导并抑制错误更新。在六个视觉推理基准测试中,该方法平均性能优于 GRPO 和 OPSD 方法,建立了新的最先进水平。
该论文介绍 PhysWord 基础模型,利用原子动作动词作为共享语义锚点来组织连续物理动态表示。模型预测未来原子动作词并将上下文隐藏状态与来自未来观测的潜在目标对齐,构建具有视觉和可选触觉变体的时间结构化空间。
推荐理由:提出基于原子动作动词的潜在推理框架,在视觉触觉任务中取得最先进成功率并支持长程操作。
本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。
推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。
GPT-6 Astra 作为原生视觉 - 触觉策略,首次演示直接通过现有视觉接口解读基于图像的触觉观测并利用接触线索进行富接触操作控制。在十九个 UniVTAC 和 OpenViTac 仿真任务中,使用视觉 - 触觉输入的平均成功率分别为 93.8% 和 81.8%,分别超过最强专用基线 22.9 和 13.1 个百分点;仅视觉性能也达到 76.3% 和 80.6%。
推荐理由:该工作首次演示 GPT-6 Astra 直接解读视觉触觉图像并在十九个仿真任务中实现闭环控制,成功率超最强基线。
作者介绍 HandsOn,这是一个可组合的仿真平台与基准,旨在支持跨具身的通用灵巧操作。该平台支持五种机械臂、六种灵巧手以及约 200 个刚体、连杆和变形资产在随机化场景中的应用。
针对农业环境中植物几何变化、遮挡及视角差异带来的操作挑战,本文提出一种基于 MuJoCo 的仿真到现实(sim-to-real)机器人学习框架。研究构建了包含多样化番茄植株结构的仿真环境,通过摇杆遥操作收集专家演示数据,并利用低层控制器执行动作。