DEED:通过演示扩展与执行设计改进细粒度操作
论文介绍 DEED 框架,旨在让预训练的视觉语言动作策略适应 MetaFine 五项细粒度操作任务。该方法通过对同一初始场景生成不同指令的演示,并在不同相机位置和光照条件下渲染物理轨迹,同时保持原始状态与动作目标。
推荐理由:提出 DEED 框架通过演示扩展与执行设计提升细粒度操作性能,在 MetaFine 任务中取得 85.55% 总分。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文介绍 DEED 框架,旨在让预训练的视觉语言动作策略适应 MetaFine 五项细粒度操作任务。该方法通过对同一初始场景生成不同指令的演示,并在不同相机位置和光照条件下渲染物理轨迹,同时保持原始状态与动作目标。
推荐理由:提出 DEED 框架通过演示扩展与执行设计提升细粒度操作性能,在 MetaFine 任务中取得 85.55% 总分。
arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。
推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。
该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。
推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。
TouchBridge 是一个软硬协同设计的框架,用于将人类演示高效转化为机器人领域的训练数据。其核心 Tac-Retarget 方法利用测量的接触信息对齐指尖接触区域并保留空间关系,无需物体网格、姿态估计或物理仿真即可实现跨形态映射。
推荐理由:提出无需物体网格或物理仿真的触觉重定向方法,将人类演示转化为机器人训练数据,在四项任务中平均成功率达 72.5%。
arXiv 论文介绍 Wizard,一种支持实时、精准控制角色动作并能在未见场景与角色上零样本泛化的智能体游戏世界模型。作者构建了包含 750 个场景和 178 个人物的数据集,利用骨架与几何信息作为结构化代理条件视频生成模型,并结合自适应掩码机制优化对齐。该框架显式维护游戏状态,允许玩家自由配置虚拟世界并精细控制角色动作,同时保持视觉质量与玩法一致性。
推荐理由:该工作提出 Wizard 框架,通过结构化代理与智能体控制实现角色动作的实时精确操控及跨场景零样本泛化。
针对现有机器人数据集缺乏细粒度子任务标注且格式不统一的问题,该工作提出 RoboAtom-Data,为多源数据添加统一的、时间对齐的原子动作标注,涵盖 145 万条轨迹和 688 万个技能标记片段。
推荐理由:该工作提出 RoboAtom-Data,为多源机器人数据提供统一原子动作标注与基准,并证明其能提升技能识别精度及分层执行的任务成功率。
针对现有方法需离线处理或依赖固定长度片段导致噪声的问题,本文提出 Hierarchical Step Decomposition (HSD),一种利用多模态大模型能力的无需训练框架。
推荐理由:提出无需训练的在线视频步骤定位框架,通过分层分解提升时序定位精度与推理速度。
针对现有视频问答基准无法评估多轮对话中跨回合信息保持能力的不足,作者提出了 VideoMemBench 数据集与评测框架。该基准包含 326 个视频和 2476 个对话回合,其中 1387 个样本依赖前序回合(包括对视觉内容的回溯和对模型自身回答的引用)。
推荐理由:该基准通过构建具有时序依赖的视频对话数据集,量化了多模态大模型在长视频上下文中的信息保持能力。
SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。
推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。
针对流基动作生成难以保证关节限位和碰撞避免的问题,本文研究仅通过黑盒可行性预言机访问可行集的设定,提出一种引导的可微分防护机制。该机制在正向传播中利用二元查询修正不安全更新,在反向传播中提取局部边界信息提供约束感知学习信号。
推荐理由:该文提出一种无需可微分约束模型的引导机制,利用二元可行性查询在训练与推理阶段同时保障物理约束满足。
arXiv 论文提出 Don't Risk It Planner (DRIP),这是一个端到端的仅 LiDAR 规划框架,将占用预测与轨迹条件清除及不确定性估计相结合。
推荐理由:提出仅用 LiDAR 的 DRIP 规划器,通过轨迹条件分布风险评估碰撞概率,在密集人群导航中相比基线减少冻结并提升成功率。
论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。
推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。
论文提出了 PET-DINOv2-2D,这是首个专门针对 2D PET 影像进行预训练的 DINOv2 模型。研究将其与原始自然图像预训练的 DINOv2 及 OmniRad 等开源编码器进行了对比评测。结果显示,尽管预训练数据量较少,该模型在正常/异常分类、病灶分割和无复发生存预后三项下游任务中均匹配或超越了现有方法,且在标签稀缺场景下优势更为明显。代码已公开。
推荐理由:该工作发布了首个基于 PET 影像预训练的 DINOv2 模型,在少样本条件下于分类、分割及预后任务上表现优异。
论文提出 LOGIV 框架,利用显式任务图连接符号规划、观测验证与具身动作,在现有 VLA 和世界动作模型策略之上运行。实验显示,该框架在不注入干扰时将 RoboTwin~V2 和 BiCoord 基准的平均任务成功率分别提升 10.67 和 15.33 个百分点;在预设扰动下表现优于三种恢复基线;在三项真实机器人任务中成功尝试数从 12/30 增至 17/30。
推荐理由:提出 LOGIV 框架,通过显式任务图与因果局部修复机制,在不增加可训练组件的前提下提升长程机器人任务的鲁棒性与成功率。
针对吉像素级高分辨率宽幅(HRW)成像中前景稀疏、分辨率极高及目标数量多样带来的挑战,本文提出 ElasticFormer 模型。该模型通过动态分配计算资源适应不同前景比例,利用 ElasticSelector 模块预测并选择包含目标的窗口以集中算力,结合三阶段训练策略解决无边界框标注时的损失函数问题。
推荐理由:提出弹性计算架构与动态稀疏选择机制,在保持高解析度宽幅图像检测精度的同时大幅降低算力消耗。
针对域泛化语义分割任务中难以兼顾抑制域敏感干扰与保留细粒度空间线索的挑战,本文提出 SIFR 框架。该方法利用频域建模统一调节异构先验交互与密集解码器细化,通过光谱引导的不变融合过滤域敏感响应并保留互补信息,同时引入基于低频统计归一化的解码器细化模块以稳定多尺度特征。在合成到真实、真实到真实及恶劣天气等多个基准上的实验表明,SIFR 显著优于现有最先进方法。
推荐理由:提出基于频域的双流框架 SIFR,在无需目标域数据条件下提升语义分割的泛化性与精度。
Zhiyuan Zhang 等人提出了 MatchDown 方法,用于替代传统步长采样、最近邻重采样或多数投票的标签下采样步骤。该方法通过区域与网格单元的最小成本匹配构建粗粒度目标,确保保留尽可能多的区域并证明不可避损的下界。
推荐理由:提出 MatchDown 方法,通过最小成本匹配构建粗粒度分割目标,在 COCO 等数据集上显著减少区域丢失并提升实例计数精度。
针对多阶段轨迹规划中运动学可行入口点识别的计算瓶颈,本文引入方向可达性图(ORM),预计算 6 自由度串联操作臂在 188,873 个工作位姿下的运动学可行性。
推荐理由:提出基于方向的可达性图方法,将机器人穿刺点规划延迟从十余秒降至亚秒级。
针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。
推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。
该研究提出了 Cross-Encoder Anchor Refinement (CEAR) 方法,旨在将异常判别从辅助训练域迁移到未见类别并定位细微缺陷。该方法在构建原型前连接同一图像的两种视觉编码路径:利用预训练的工业产品识别卷积编码器建立图像特定记忆,通过交叉注意力让空间锚点查询该记忆并进行残差细化;随后用图像条件化的正常和异常查询门控锚点聚合以构建原型进行评分。
推荐理由:提出跨编码器锚点细化方法,在工业与医疗数据集上实现零样本异常检测性能领先。