跳到正文
  1. arXiv · 机器人与计算机视觉82

    Spectral Steering:冻结扩散生成器的局部逆向几何

    针对冻结扩散生成器需改变部分输出属性同时保持其他属性的需求,本文研究了条件引导的忠实性并引入局部逆修正以改善方向。该方法结合请求特定的余弦增益预测器与阻尼逆修正及固定时间重线性化,适用于有限编辑场景。

    推荐理由:该文提出光谱引导方法,结合局部逆修正与固定时间重线性化,在图像修复等任务中显著优于 Adam 优化器。

  1. arXiv · 机器人与计算机视觉83

    MemSurg:用于机器人辅助手术的场景与工作流理解的结构性记忆框架

    MemSurg 是一个针对机器人辅助手术的视频理解框架,旨在解决帧级提示无法利用早期观察历史的难题。该框架通过结构化记忆图存储带时间戳的实体类别、位置、运动线索和交互摘要,并利用时序链接与实体关联链接保留上下文及跨阶段观测。

    推荐理由:该框架通过结构化记忆图解决手术视频理解中的历史上下文缺失问题,在前列腺切除术等基准上显著优于现有方法。

  2. arXiv · 机器人与计算机视觉82

    从反思到协同进化:具备本地化验证记忆的自演化智能体

    论文提出 Anchor 框架,旨在解决大语言模型智能体在长周期交互中记忆冗余或强化不当行为的问题。该方法通过定位关键轨迹步骤、提取候选记忆,并在相同上下文下对比保留与不保留该源决策的效果,评估其对分布的偏移量及角色对齐度。

    推荐理由:提出 Anchor 方法,通过局部验证记忆源决策来筛选有效经验,在 ALFWorld 和 WebShop 任务上提升成功率并减少 Token 消耗。

  1. arXiv · 机器人与计算机视觉83

    Flex-RSI:前沿智能体在视觉与机器人任务中的递归自我改进基准

    Flex-RSI是一个针对视觉和机器人任务的智能体递归自我改进基准。该基准允许智能体在固定预算下利用反馈改进其解决方案及自身架构(包括提示词、工具和记忆)。评测涵盖感知、推理、机器人操作、3D重建等多个领域,发现当智能体构建自身解决方案时自我改进最有效,且编辑执行器本身对增益有显著贡献。

    推荐理由:Flex-RSI基准评测了智能体在视觉与机器人任务中的递归自我改进能力,发现编辑执行器本身对提升效果至关重要。

  2. arXiv · 机器人与计算机视觉78

    利用自然天光进行鱼眼相机偏振校准的联合镜头 - 分析器方法

    针对鱼眼镜头效应和分析器不完美导致的偏振测量退化问题,作者提出了一种联合镜头 - 分析器校准方法,通过统一八参数公式显式建模入射角依赖的镜头透射率。该方法仅需手持户外序列即可估计相机帧间旋转并实现偏振校准,无需专用设备或预设天空模型。

    推荐理由:提出了一种仅需手持户外序列即可完成鱼眼镜头偏振校准的方法,无需专用设备或预设模型。

  1. arXiv · 机器人与计算机视觉78

    BiGrounder:双向训练释放 GUI 定位潜力

    BiGrounder 针对图形用户界面(GUI)定位任务,提出一种双向奖励范式以解决传统端到端训练对语言变化鲁棒性不足的问题。该方法在监督微调阶段让模型从目标坐标生成动作描述,并在强化学习阶段采样语义一致的指令变体进行自循环验证,将模型自身的策略转化为持续更新的强化轨迹。

    推荐理由:提出双向训练范式,利用模型自身策略生成强化学习轨迹,在五个基准测试中取得竞争性精度。

  1. arXiv · 机器人与计算机视觉83

    FloMo:将3D场景流作为世界动作模型的中间层以学习人类视频数据

    论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。

    推荐理由:提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。

  1. arXiv · 机器人与计算机视觉78

    MoPort:一种面向运动的视感二维接口

    论文提出 MoPort,旨在让运动语言模型(MoLMs)直接处理单目视频的二维观测数据。方法引入成对视角对齐(PVA)和相机调制编码(CME),以解决从 2D 到 3D 的维度差距及视角变化带来的歧义。

    推荐理由:提出 MoPort 方法解决单目视频三维动作建模的视角与深度歧义问题,在 HumanML3D 等基准上优于现有基线。

  1. arXiv · 机器人与计算机视觉78

    解码几何而非 Token:用于机器人功能与轨迹预测的高效视觉语言模型

    论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。

    推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。

  1. arXiv · 机器人与计算机视觉82

    GUIFlow:面向 GUI 智能体的时序冗余感知增量推理框架

    针对基于视觉语言模型的 GUI 智能体在连续演化界面中重复计算的问题,本文提出了 GUIFlow 框架。该框架通过位置对齐的历史 KV 状态注入、变化信号引导的视觉编码器与语言模型状态选择性更新,以及利用早期动作响应作为目标模型验证的推测草稿,实现了跨步骤的增量推理复用。

    推荐理由:提出 GUIFlow 框架,在无额外训练下实现多步交互的增量推理,显著降低计算成本。

  2. arXiv · 机器人与计算机视觉78

    TopX:仅凭骨架文件实现未见角色的文本到动作生成

    TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。

    推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。

  3. arXiv · 机器人与计算机视觉78

    RoboReason:通过可扩展数据生成增强机器人相关 VLM 的推理能力

    论文指出将视觉语言模型(VLM)集成到机器人操作流程中时,真实世界评估困难且难以扩展。作者提出利用真实机器人上的立体和腕部相机图像进行空间与时间排序任务来评估视觉推理能力,具体包括基于语言描述的帧重排、按距离的物体深度排序以及像素坐标下的左右排序。

    推荐理由:提出基于真实机器人立体与腕部相机数据的可扩展生成管线,通过时空排序任务提升 VLM 在下游机器人任务中的推理能力。

  1. arXiv · 机器人与计算机视觉82

    BiMoGen:基于统一掩码离散扩散的双向运动文本生成

    BiMoGen 是一个统一的掩码离散扩散框架,用于双向运动文本建模。该方法采用解耦的单模态与跨模态两阶段训练策略,并引入生成感知自修正机制以缓解训练测试不匹配问题。实验在 HumanML3D 和 KIT-ML 数据集上验证了其在文本生成动作描述及动作描述文本任务上的竞争力。

    推荐理由:该文提出基于掩码离散扩散的双向运动文本生成框架,通过解耦训练与生成感知自修正机制解决时序一致性问题。

  1. arXiv · 机器人与计算机视觉84

    Joints, Camera, Action!:为任意骨架协同生成 3D 运动与视频

    arXiv 论文提出一种模型,直接为任意提供的骨架(rig)协同生成视频和 3D 运动,并注册相机以将动作置于 3D 场景中。该方法将 3D 运动建模独立于视频模型,支持非人形骨架,利用少量交叉注意力层连接预训练视频模型。

    推荐理由:提出联合生成视频与任意骨架 3D 运动的新方法,支持非人形资产动画化及场景配准。

  1. arXiv · 机器人与计算机视觉78

    基于视觉引导的闭环自主导航光驱动 Janus 微机器人

    该研究开发了一套用于光驱动的立方体状赤铁矿/TiO2 Janus 微机器人的视觉引导闭环导航框架。系统集成了定制训练的 YOLOv11 目标检测模型进行实时视觉定位,并结合离散化路点磁导向技术,实现了复杂规定轨迹的精确导航,测试路径几何中超过 90% 的轨迹偏差低于 6 微米。

    推荐理由:原文提出了一种结合视觉定位与磁导向的微米级机器人闭环导航框架,实现了复杂轨迹跟踪、动态避障及自主运输任务。

  2. arXiv · 机器人与计算机视觉78

    CtRoFlow:通过条件 3D 流匹配实现单目相机到机器人位姿估计

    该论文提出 RoPE-Flow 框架,利用 Keypoint-centered Feature Extractor、Graph-guided Condition Generator 及 Bone Length Loss 等方法,解决从单目图像恢复 3D 结构特征以估计机器人位姿的挑战。

    推荐理由:提出基于条件 3D 流匹配的端到端框架,解决单目相机到机器人位姿估计难题。

已经到底了