静止即保持静止:打破视觉惯性以缓解关系幻觉
该论文指出多模态大模型虽具备强实体感知能力,但在物体间关系交互上常出现幻觉,且单纯增强视觉信号难以修正。研究揭示幻觉往往源于对先前主导证据的过度依赖(视觉惯性),导致解码性能随历史注意力累积而下降。
推荐理由:针对多模态大模型在关系描述中存在的视觉惯性导致的幻觉问题,提出了一种基于注意力历史动态校准的解码方法。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
该论文指出多模态大模型虽具备强实体感知能力,但在物体间关系交互上常出现幻觉,且单纯增强视觉信号难以修正。研究揭示幻觉往往源于对先前主导证据的过度依赖(视觉惯性),导致解码性能随历史注意力累积而下降。
推荐理由:针对多模态大模型在关系描述中存在的视觉惯性导致的幻觉问题,提出了一种基于注意力历史动态校准的解码方法。
针对现有视觉语言动作模型(VLAs)泛化能力受限及缺乏显式空间推理的问题,本文提出 Agentic Scene Policies(ASP)框架。该框架通过场景智能体工具接口,利用部件级功能特性将场景理解与机器人技能统一在单一动作空间中,支持如拔充电器、开抽屉等零样本交互。实验表明,ASP 在零样本设置下表现优于领先的 VLAs,并展示了处理房间级查询的扩展性。
推荐理由:提出结合显式3D场景表示与运动规划的模块化策略,在零样本设置下超越主流VLA模型。
针对大语言模型在机器人操作中存在的歧义、噪声及上下文限制问题,本文提出 LYRA 框架,将人类反馈蒸馏为模块化可复用技能,并利用外部记忆与检索增强生成支持超长时域任务。
推荐理由:提出 LYRA 框架,通过人类引导的终身代码生成与外部记忆检索,在多个基准及真实任务中实现超长时域操作的稳定执行。
该论文针对自动驾驶视频延续中面临的自回归过程‘生成退化’挑战,提出了 STRIDE(STructural RegIsters for Decoupled Extrapolation)大视觉模型架构。
推荐理由:提出 STRIDE 架构,通过语义前瞻机制缓解自回归生成中的结构退化问题。
论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。
推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。
论文指出在目标条件策略学习中存在‘信息视界诅咒’,即增加目标重标视域会显著降低策略的泛化能力和性能。研究通过控制实验解耦了训练时的采样视域与测试时的执行视域,发现即使仅评估邻近子目标序列,基于行为克隆的策略也会因长视域训练而严重退化,而强化学习目标可缓解此问题。
推荐理由:研究发现目标重标视域过大导致泛化性能下降,通过短视域策略雅可比矩阵蒸馏至长视域策略可显著提升组合操作任务表现。
视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。
推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。
论文介绍 HuMBLE 框架,旨在解决控制器优化于命令跟踪时产生机械步态、而绑定人类数据时泛化能力不足的问题。该方法首先利用自研数据集通过强化学习训练全身参考条件策略,再蒸馏为仅依赖本体感知和平坦躯干速度转向指令的轻量先验策略;随后通过多任务强化学习微调以扩展命令覆盖范围并增强鲁棒性,其中包含跟踪任意命令的目标条件任务和以人类数据为显式风格正则器的参考引导任务。
推荐理由:提出 HuMBLE 框架,通过教师 - 学生蒸馏与多任务强化学习平衡命令跟踪与人类步态特征,在 Atlas 等真机验证了实时可操控性。
论文提出了 Agentic RSR 框架,旨在解决场景重建与策略开发分离的问题。该框架利用视频、任务描述和已知机器人模型,通过智能体恢复度量尺度并迭代优化场景,随后在 MuJoCo 中检查交互并开发从特权姿态到视觉观察的策略。
推荐理由:提出将场景重建与策略开发通过同一任务链接的框架,在真实机器人上实现了 80% 的仿真成功率保留。
针对现有 VLA 模型在自动驾驶中存在 2D 语义理解与 3D 几何需求不匹配的问题,本文提出 GeoCoTDrive 框架。该框架遵循“先以 2D 思考、再以专用 3D 先验驱动”的范式,首先定位决策关键区域的 2D 特征,随后从几何基础模型中检索局部化 3D 先验并交织进自回归上下文以支持轨迹生成。
推荐理由:提出 GeoCoTDrive 框架,通过显式几何思维链将 2D 视觉理解与 3D 规划先验结合,在多基准测试中提升端到端自动驾驶的安全性。
TouchScale 是一个包含约 500 小时接触丰富的人类交互数据的统一数据集,使用单一穿戴设备同步采集了第一人称 RGB-D 视频、手腕 RGB 视频及双手密集触觉测量数据。
推荐理由:TouchScale 数据集提供统一穿戴设备采集的 500 小时视觉 - 触觉同步数据,显著提升了零样本触觉预测精度与机器人操作成功率。
论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。
推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。
针对世界动作模型(WAM)高推理延迟限制机器人控制响应的问题,作者提出了 RealtimeWAM 这一无需重新训练的通用框架。该框架通过层间依赖重叠观测处理与预测、在视觉稳定区域缓存特征以及复用 Transformer 残差等策略协调并行执行与自适应计算。
推荐理由:该工作提出无需重新训练的通用框架,通过并行执行与自适应计算显著降低推理延迟,在真实任务中提升成功率。
论文提出了名为 JEM 的学生 - 教师自监督学习算法,该方法基于多视图假设构建信息论目标函数,通过跨视图对齐补丁表示并显式正则化以保留信息和结构。实验表明,JEM 在 300M 至 7B 参数规模下均能稳定训练,且在分割基准测试中超越 DINOv2;特别是在 7B 参数规模下,无需微调阶段且仅使用 DINOv3 1/12 的数据量,其泛optic分割性能即超过 DINOv3。
推荐理由:提出基于多视图假设的 JEM 算法,在 7B 参数规模下实现稳定训练且无需微调即可超越 DINOv3。
针对大视觉语言模型(LVLM)在后门攻击下的脆弱性,本文提出 OrthoPurify 方法,利用伪良性参考模型识别并移除被劫持的权重更新方向。该方法仅需单步正交投影即可在无需重训或引入推理开销的情况下,将攻击成功率降至近零,同时保持原有性能。代码已公开。
推荐理由:提出 OrthoPurify 方法,通过单步正交投影移除后门方向,无需重训或推理开销即可将攻击成功率降至近零。
论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。
推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。
论文提出受控可还原退化差距(cRDG)指标,通过对比合成退化与清洁增强的探针评估有限训练预算下的泛化增益。该方法在语义分割和显著性检测任务中提升了代表性预测器的性能,同时保持清洁图像表现,代码与支持材料将公开。
推荐理由:提出 cRDG 指标筛选合成退化数据,在语义分割与显著性检测任务中提升模型泛化且不损害清洁图像性能。
该论文提出了一种端到端的自主管道,用于设计和构建定制木制组件。生成式 AI 代理将用户提示转化为初始 3D 几何形状,并通过基于梯度的修复阶段调整组件几何以解决不连续和重叠问题。该方法在 60 个新自然语言输入中实现了 86.7% 的机器人螺丝刀驱动成功率,并在两个 UR5e 机器人上对其中十种结构进行了物理组装演示。
推荐理由:提出端到端自主设计流程,通过可微几何修复显著提升了机器人组装成功率。
针对大型语言模型和视觉 Transformer 在需要空间理解的任務中表现不佳的问题,该研究提出 Flow-of-Thought(FoT)框架,通过生成视觉草图作为中间推理步骤来模拟人类的心智意象。
推荐理由:该工作提出通过生成视觉草图作为中间推理步骤来弥补大模型在空间理解上的不足,并在 Tetris 等任务上达到极高准确率。
论文提出了 DynStream 框架,用于从长时未标定视频流中实现动态 4D 场景的在线重建与逼真渲染。该方法在局部时间窗口内重建场景,并增量对齐融合为全局一致的场景,无需单场景优化。通过联合约束跨窗口几何一致性并建模随时间变化的场景内容,实现了高效重建和高质量渲染。实验表明,该框架在多种动态室内外场景中均达到了最先进的性能水平。
推荐理由:该工作提出在线流式 4D 高斯重建框架,解决长视频无位姿连续处理与逼真渲染难题。