I See What You Want:从视觉遥操作历史解码层级化操作意图
论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。
推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。
推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。
针对长视界操作中因任务进度和早期尝试结果导致的决策别名问题,本文提出 CGEM 方法。该方法利用评论器筛选能显著改变成功概率预测的事件进行记忆,将正负变化分别编码为进展与失败记录,并在子任务完成后丢弃失败记录以降低成本。在十个子任务的诊断环境中,CGEM 达到 88.0% 的成功率,而传统观察窗口和运动学事件记忆方法成功率均为 0.0%,移除失败记录后成功率降至 1.7%。
推荐理由:提出基于结果导向的评论门控事件记忆机制,解决长视界操作中决策别名问题。
ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。
推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。
针对少样本设置下预训练视觉语言模型(如 CLIP)难以捕捉细粒度诊断信息的问题,本文提出一种描述引导的两阶段 CLIP 适配方法。该方法利用症状和对比描述丰富类语义,指导聚合与类别相关的局部图像块证据以校准全局匹配。
推荐理由:提出描述引导的 CLIP 两阶段适配方法,通过症状与对比描述增强语义并校准局部证据,在少样本植物病害识别中实现最高平均准确率。
论文介绍 Hand in Silhouette (SilHand) 框架,利用低成本获取的二值手部掩码替代 RGB 特征进行 3D 重建,以缩小合成数据与真实数据的观察差距。该方法在包含 4.68 万个抓取姿态和 6 万个自由手势的大规模合成数据集上训练,并在五个现实基准测试中将相对重建精度从 49.2% 提升至 63.4%,且对掩码噪声具有鲁棒性。
推荐理由:该工作提出基于二值掩码的仿真到现实手重建框架,通过掩码射线证据融合缩小外观差距,在五个基准测试中相对精度提升显著。
该论文概述了 Hibikino-Musashi@Home 2026 团队在 RoboCup@Home 2026 比赛中开发的集成技术。
推荐理由:原文概述了 RoboCup@Home 2026 团队的集成技术方案,涵盖无训练目标识别、语义建图及低功耗时序处理模型。
arXiv 发布了一篇关于 ATune 模型的论文,该模型仅需利用商业图库中的百万级原始照片及模拟损坏版本进行训练,无需任何专家标注数据。研究展示了 ATune 如何驱动 RawTherapee 和 darktable 等编辑器调整滑块以优化亮度、对比度等属性,并在用户研究中击败了 GPT-6 Astra 及其他监督学习模型。
推荐理由:该预印本提出无需专家标注的无监督修图方法,在用户偏好测试中表现优异。
针对非道路环境多相机观测可靠性差异大的问题,提出 QVS-LIVO RiskMap 系统,将状态估计中的视觉处理与语义建图解耦。前端基于共享激光雷达 - 惯性后验进行只读预跟踪以评估观测健康度与几何互补性,利用通道健康记忆和切换迟滞选择至多一个视图进行光度校正;后端在共享世界网格中融合所有可用视图的语义观测。
推荐理由:提出 QVS-LIVO RiskMap,通过解耦视觉处理实现多相机状态估计与语义建图,在越野环境下提升鲁棒性与实时性。
论文提出 PERA 方法,旨在解决运动模仿中微调整个策略会干扰现有行为、独立训练每个策略成本高的问题。该方法冻结预训练的混合专家策略,利用任务奖励或教师动作监督训练额外的任务专家及其路由分数。
推荐理由:提出 PERA 方法,通过冻结预训练策略并新增任务专家实现连续全身控制技能复用,在 Unitree G1 仿真中成功完成十项新任务且保留原有动作。
该论文提出 DuoJEPA 框架,通过在每个模态编码器后附加变换层实现跨模态翻译,而无需直接比较两个嵌入空间的损失函数。实验表明,在 CheXpert Plus 数据集上该方法实现了 86.6 的零样本 AUC 和 78.5 的检索分数;在 Sentinel-2 与 Sentinel-1 遥感影像对上,冻结编码器下的跨模态检索成功率介于 77% 至 79%。
推荐理由:提出无需直接对齐嵌入空间的跨模态翻译架构,在医学影像与遥感数据上验证了零样本检索性能。
针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。
推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。
论文提出了 Open Vision Banana (OVB),这是一种将预训练图像生成器转化为统一多任务感知系统的完全开放且可复现的配方。研究分析了颜色编码、提示设计等关键设计选择对泛化性的影响,并指出这些选择存在交互效应。
推荐理由:作者提出完全开放的生成式视觉感知配方,公开数据集处理与训练代码,复现并超越了闭源基座模型的性能。
针对模仿学习下连续动作策略行为多样性不足的问题,该工作提出 GraSLA 模型,将 6-DoF 抓取检测提供的假设作为几何先验,结合空间与语言基础模型通过双向交叉注意力进行连续动作预测。在 LIBERO 基准测试中,该模型平均成功率达到 99.30%。
推荐理由:该工作提出将抓取假设作为几何先验融入连续动作策略,在 LIBERO 基准上实现 99.30% 成功率。
针对现有流式视频理解基准无法区分模型因遗忘导致的错误与视觉理解失败或语言先验干扰的问题,作者提出 MemInStream 基准。该基准通过证据控制验证协议,将问题关联到时间局部化证据区间,并保留那些仅凭近期观察、文本输入或事后观察无法解决但需历史证据才能回答的问题,从而解耦记忆限制与理解缺陷。
推荐理由:提出证据控制验证协议,解耦记忆能力与理解失败,为流式视频理解提供可靠评估基准。
针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。
推荐理由:提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。
针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。
推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。
本文介绍了一个集成两个 LeRobot SO-101 机械臂、TurtleBot 4 底盘及 LeRobot-ROS 2 软件栈的低成本移动双臂平台,并以长周期的马桶清洁为案例研究。
推荐理由:该研究在低成本移动双臂平台上评估了多种 VLA 模型,发现 $ ext{ extpi}_0$ 表现最佳,而增强变体未见提升。
论文提出 CARE-Drive(Coupled Alternating Refinement for Ego-trajectories),旨在通过物理专业化与协调机制改进端到端自动驾驶中的轨迹预测质量。
推荐理由:提出 CARE-Drive 方法,通过位置与航向的物理专业化分解及交替优化,在 NAVSIM v1 上提升轨迹预测性能。
针对双臂机器人操作中空间与时序耦合的协调难题,本文提出 BiPOP 框架,将大语言模型用于自然语言指令的形式化翻译,结合显式时空模型与时间偏序规划器生成逻辑一致且支持并行执行的计划。实验表明该方法在仿真长时程任务中优于开环及 ReAct 风格规划,并在真实双臂机器人 NICOL 上实现了端到端运行。
推荐理由:提出 BiPOP 框架,结合大语言模型与时间偏序规划解决双臂长时程任务协调难题。
Yuqiao Feng 和 Xiaoyu Ao 在 arXiv 上发布研究论文,指出当前广泛使用的控制指标仅检查相机是否跟随指令,而忽略了场景响应不足的问题。作者发现现有模型生成的场景变化最多仅为真实视频的三分之一,且无法区分执行与忽略的速度指令。
推荐理由:作者指出主流驱动世界模型仅移动相机而未同步场景,提出无需训练的 ReTime-Compose 方法以几何方式注入计划。