跳到正文
11月13日周五
  1. arXiv · 机器人与计算机视觉58

    DexRemo:一种用于接触丰富移除操作的力觉传感手部平台及任务套件

    针对分离粘连、嵌入或受约束目标的需求,研究团队提出了 DexRemo 三指机械手平台,具备高力驱动、模块化指尖及三轴力传感能力。系统采用腕系中心坐标系统一表达指尖力,结合动作分块 Transformer 骨干网络,融合多视角视觉、本体感知与力觉观测以预测闭环动作片段。

  2. arXiv · 机器人与计算机视觉74

    Video-Action Models for Data-Efficient Industrial Manipulation

    论文提出 FLUX-mimic 视频动作模型,利用大规模预训练骨干网络与动作专家模块,在四款汽车制造基准任务及双机械臂平台上验证了数据高效性。该模型在灵巧操作平台超越所有基线,在夹爪平台达到 pi_{0.5}的平均成功率;针对可变形零件组装任务,仅需两小时的动作标注演示即可实现 77.5% 的成功率。材料为 arXiv 预印本,未报告真实工厂部署结果或量产状态。

  3. arXiv · 机器人与计算机视觉78

    DuoJEPA:未对齐自监督嵌入空间间的跨模态翻译方法

    该论文提出 DuoJEPA 框架,通过在每个模态编码器后附加变换层实现跨模态翻译,而无需直接比较两个嵌入空间的损失函数。实验表明,在 CheXpert Plus 数据集上该方法实现了 86.6 的零样本 AUC 和 78.5 的检索分数;在 Sentinel-2 与 Sentinel-1 遥感影像对上,冻结编码器下的跨模态检索成功率介于 77% 至 79%。

    推荐理由:提出无需直接对齐嵌入空间的跨模态翻译架构,在医学影像与遥感数据上验证了零样本检索性能。

  4. arXiv · 机器人与计算机视觉67

    Lang-SVG:一种基于语言先验的分层图像矢量化方法

    该论文提出 Lang-SVG 方法,旨在将位图重构为紧凑且可编辑的 SVG 矢量图形。针对现有方法缺乏语义层级对齐的问题,该方法引入显式树结构组织 SVG 原语,利用粒度可控和开放词汇分割先验初始化对象部分层级,并结合多模态大语言模型(MLLMs)分配语义标签。

  5. arXiv · 机器人与计算机视觉78

    MOSAIC:面向杂乱场景的模块化障碍物与空间感知操作框架

    针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。

    推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。

  6. arXiv · 机器人与计算机视觉63

    全尺寸人形机器人的运行时安全与紧急停止:部署教训与分级力授权主张

    针对全尺寸人形机器人在危险工业场景(如拆解电动汽车电池)的应用,作者描述了开源自主栈 Unitree H1-2 的安全机制及其部署教训。研究指出,当状态估计过时或按下急停时,安全层会触发停止;但在推倒站立机器人等实验中,模型预测控制器无法恢复平衡,且操作者需每次手动急停。作者认为仅靠关节力矩限制不足以界定施力的适当性,主张应分阶段赋予机器人“力授权”,并由人或组织对其使用承担明确责任。

  7. arXiv · 机器人与计算机视觉82

    Open Vision Banana:一种用于生成式视觉感知的完全开放配方

    论文提出了 Open Vision Banana (OVB),这是一种将预训练图像生成器转化为统一多任务感知系统的完全开放且可复现的配方。研究分析了颜色编码、提示设计等关键设计选择对泛化性的影响,并指出这些选择存在交互效应。

    推荐理由:作者提出完全开放的生成式视觉感知配方,公开数据集处理与训练代码,复现并超越了闭源基座模型的性能。

  8. arXiv · 机器人与计算机视觉73

    Where to Generate Touch: Do Image Latents Preserve Material Recognition?

    该论文研究了在图像潜在空间中生成触觉是否保留了材料识别信息。实验发现,基于 Stable Diffusion VAE 的重建结果能保持物体身份(匹配准确率 76.7%),优于离散分词器重建,且接近真实触觉数据。研究据此选择了 SD-VAE 潜空间进行光到触的生成器训练,代码将在论文接收后发布。

  9. arXiv · 机器人与计算机视觉44

    RUMI:一款适配 Robotiq 2F-85 的具身智能遥操作接口与仿真数据集研究

    RUMI 是一款适配 Robotiq 2F-85 抓取器的手持通用操作接口,通过可更换指尖传感器保留几何结构并支持接触前自然输入与接触后力测量。系统结合 VR 头显提供运动学可行性实时增强现实反馈及仿真与真机的力感知遥操作能力。用户研究显示,相比无增强现实方案,该接口在真实机器人可视化与姿态初始化下将关节极限违规样本数从 16/50 降至 3/50。

  10. arXiv · 机器人与计算机视觉49

    VibePrevisBench:评估 Blender 中智能体生成 4D 场景的编码能力

    VibePrevisBench 基准通过 242 项任务,涵盖脚本、照片及续写等输入,利用基于规则的场景检查与视觉语言模型屏幕检查双重维度,量化了 11 个前沿编码智能体在空间理解与相机运动方面的表现。分析发现所有智能体虽掌握基础运镜却难以应对挑战请求且无法修正渲染错误,表明当前智能体亟需提升对空间与相机的视觉理解及逐项验证能力。

  11. arXiv · 机器人与计算机视觉48

    Prediction-Error-Tightened MPC 实现社交合规人群导航

    该研究将障碍物检测、Koopman 运动预测及在线误差估计集成至碰撞规避机制,通过聚合邻近障碍降低计算复杂度。仿真闭环对比显示,Markov 残差收紧使物理接触率从 10.0% 降至 1.33%,平均耗时仅增加 0.68 秒。人群导航语义消融实验表明,行人感知处理下机器人足迹与个人空间重叠占比为 2.11%,显著低于通用障碍物处理的 22.84%。

  12. arXiv · 机器人与计算机视觉68

    Prior-as-Skill:基于同策略自蒸馏的自进化 VLM 智能体研究

    论文提出 PriorSplit 方法,旨在解决视觉语言模型(VLM)智能体在部署时因帧缺失或顺序异常导致记忆失效的问题。该方法通过记录训练集中相邻步骤的出现频率作为外部先验,当模型无法同时看到所需帧时利用该统计信息回答,从而无需额外训练即可保持对任务顺序的记忆。

  13. arXiv · 机器人与计算机视觉63

    基于扩散模型的图像去混合研究

    该工作将图像去混合建模为联合逆问题,提出免训练框架,通过文本引导的潜在扩散模型进行语义分离,再经像素空间细化恢复细节。实验表明该方法在未见域达到最先进水平,支持空间变化 alpha 图且与监督基线竞争。论文已接受 WACV 2027,代码与数据待开放。

  14. arXiv · 机器人与计算机视觉42

    Qwen3.5 9B 在无训练条件下通过提示词在 EventBench 挑战中达到 62.28% 准确率

    研究团队构建了一套无需训练的视觉语言模型系统,针对 ECCV 2026 EBMV 挑战中的事件流理解任务。该系统利用冻结的 Qwen3.5 9B 模型处理四类任务,仅在动作识别上使用 EventGPT-Plus-2B,在 2,084 个测试问题中整体准确率达 62.28%(排名第 9/27)。分析显示手势识别与事件 OCR 表现受限,且详细理解预测存在选项偏差。

  15. arXiv · 机器人与计算机视觉45

    CGOcc:学习跨高斯依赖以进行三维语义占用预测

    CGOcc 是一个监督多相机框架,通过显式建模跨高斯依赖解决重叠原语导致的类别预测模糊问题。该方法在 nuScenes 数据集上实现了最先进性能,在高高斯重叠率和边界区域表现更佳。消融研究验证了协方差感知预测与几何交互的协同有效性,论文代码及权重暂未公开。

  16. arXiv · 机器人与计算机视觉65

    不完美检测下的主动物体搜索需要何种世界模型?一项研究

    针对不完美检测如何影响机器人“看哪里”和“何时停”的决策问题,该研究提出了贝叶斯主动漏检感知物体搜索(BAMOS)方法,在 Isaac Sim 仿真环境中系统考察了目标信念、占用信念及检测误差对搜索策略的影响。实验表明,维持并更新目标信念对于在不确定观测下实现可靠搜索至关重要,且其贡献度随检测误差增加而提升。该工作已被 CoRL 2026 Workshop 接收,代码已开源。

  17. arXiv · 机器人与计算机视觉82

    GraSLA:一种以抓取假设为几何先验的轻量级空间语言动作模型

    针对模仿学习下连续动作策略行为多样性不足的问题,该工作提出 GraSLA 模型,将 6-DoF 抓取检测提供的假设作为几何先验,结合空间与语言基础模型通过双向交叉注意力进行连续动作预测。在 LIBERO 基准测试中,该模型平均成功率达到 99.30%。

    推荐理由:该工作提出将抓取假设作为几何先验融入连续动作策略,在 LIBERO 基准上实现 99.30% 成功率。

  18. arXiv · 机器人与计算机视觉42

    单目 RGB-D 力 - 变形估计助力弹性塑性材料机器人操作

    研究利用标准机器人、单目眼手相机及内禀力估计,建立弹性塑性材料变形的实用测量基础。基于 52 组数据训练的紧凑多层感知机在独立测试集上达到 1.857 N 均方根误差和 0.440 R²值。该成果为变形感知操作提供了实验依据,相关论文已获 IEEE ROBIO 2026 接收。

  19. arXiv · 机器人与计算机视觉78

    MemInStream:重新思考流式视频记忆的评估——是记忆还是仅识别?

    针对现有流式视频理解基准无法区分模型因遗忘导致的错误与视觉理解失败或语言先验干扰的问题,作者提出 MemInStream 基准。该基准通过证据控制验证协议,将问题关联到时间局部化证据区间,并保留那些仅凭近期观察、文本输入或事后观察无法解决但需历史证据才能回答的问题,从而解耦记忆限制与理解缺陷。

    推荐理由:提出证据控制验证协议,解耦记忆能力与理解失败,为流式视频理解提供可靠评估基准。

  20. arXiv · 机器人与计算机视觉45

    Helping Hand:单通道内镜下粘膜剥离术的连续体机械手抓钳原型演示

    Helping Hand 是一款双段连续体机器人抓钳,配合电外科刀在单一 3.7 mm 工作通道内实现组织牵引与切割。研究通过在基座开槽让刀具伸出,利用反牵引力完成操作,并在离体鸡大腿上演示了完整的工作流程以验证其在内镜下粘膜剥离术中的潜力。

  21. arXiv · 机器人与计算机视觉18

    基于学习的探测器间隙插补:光子计数 X 射线成像中的生成模型应用

    针对光子计数 X 射线成像中探测器模块拼接产生的视野间隙,研究适配了 WGAN-GP 与 Pix2Pix 两种生成模型进行插补。Pix2Pix 在保持强度统计不变的前提下,实现了最佳的感知相似度且训练 GPU 小时数约为 WGAN-GP 的五分之一。最终模型的源代码与权重已公开,适用于相位检索或断层重建等下游处理任务。

  22. arXiv · 机器人与计算机视觉45

    CBRL 模型在农业图像分类中实现标签高效学习

    CBRL 模型联合优化 SimCLR 风格对比学习与双向 BYOL 风格目标预测,在仅使用下游 10% 标签的 ViT-L/16 骨干网络上,于 DeepWeeds 基准达到 79.77% 宏观 F1,比随机初始化基线高 32.29 个点。该研究虽未确立统计优越性,但为标签稀缺场景提供了有前景的联合公式候选方案。论文已接受发表于 ICACIN 2026,代码与数据许可状态待定。

  23. arXiv · 机器人与计算机视觉83

    CoCode-World:面向多人世界模型的共享 3D 代理表示

    论文提出了 CoCode-World,这是一个用于双人视频生成的共享 3D 代理框架,旨在解决多玩家生成模型中不同视角下共享实体的一致性难题。该方法将场景布局、运动和遮挡的结构控制与角色及场景外观的视觉合成分离:可编程代理定义结构信息,RGB 引用引导外观细节;通过拼接成对的代理视频、外观参考和目标视图,利用预训练视频模型的注意力机制在单一生成分支内实现跨视角通信。

  24. arXiv · 机器人与计算机视觉42

    Cat Royale Comprehensive Dataset 发布:首个融合分割、姿态与动作识别的多模态猫科数据集

    Cat Royale Comprehensive Dataset(CRCD)基于超 500 小时视频,提供含 2 万张实例分割掩码及 800+ 段动作描述的标注数据。该数据集首次将多种注释类型链接用于多模态任务,并附带实例分割、姿态检测等基准测试工具。相关代码与工具已开放以支持持续扩展,论文已提交至国际计算机视觉期刊待审。

  25. arXiv · 机器人与计算机视觉74

    EMS-Nav:一种面向资源受限机器人的生物启发式多尺度导航框架

    工业巡检机器人需在从区域到物体的不同空间尺度间进行导航,现有方法因高计算和存储成本难以在无无线覆盖或依赖机载计算的场景部署。本文提出 EMS-Nav 框架,其核心创新是将感知、空间理解与导航围绕“区域”组织,将局部空间作为环境理解和计算的基本单元,构建从局部区域到广域环境的层级结构。

  26. arXiv · 机器人与计算机视觉82

    TraceKV:一种用于推理视觉语言模型的策略保持低秩 KV Cache 压缩方法

    针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。

    推荐理由:提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。

  27. arXiv · 机器人与计算机视觉59

    基于条件流的广义逆运动学研究:GenGenIK

    论文介绍 GenGenIK,一种将高层规划目标映射为机器人配置的生成式逆运动学方法。该方法支持移动底座、多个末端执行器和目标点,具备场景感知能力并能在部分观测下保持有效。实验表明其在双手动拾取和翻转等任务中,求解率和运行时间均优于现有方法,且允许灵活控制采样分布。

  28. arXiv · 机器人与计算机视觉5

    MAGIC:基于模态感知基尼系数的 LMMs 临床幻觉检测新方法

    MAGIC 将大多模态模型(LMMs)的幻觉检测定义为生成答案 token 时视觉与语言模态注意力权重的分布失衡问题。该方法利用各层各头的基尼系数量化注意力集中度,训练逻辑回归分类器并在三种医学影像模态上评估了两个 LMMs。实验显示,MAGIC 在检测临床不可验证输出方面表现优于或等同于当代基线方法。

  29. arXiv · 机器人与计算机视觉53

    SCR-Mamba:一种用于高效三维人体姿态估计的骨骼条件 Mamba 模型

    该论文提出了 SCR-Mamba 方法,旨在解决基于 Mamba 的视频三维人体姿态估计中缺乏直接利用骨骼关系及全分辨率计算开销高的问题。核心创新包括骨骼条件状态建模(SCSM),通过骨连接和左右对称性生成骨架上下文以指导状态信息的读写传播;以及跨尺度增量细化(CSIR),通过内容自适应聚合构建多尺度运动表示,并利用粗粒度建模产生的增量逐步细化保留的单帧特征。

  30. arXiv · 机器人与计算机视觉78

    阅读桌面:面向 Chef's Hat 卡牌游戏的仿真到现实游戏状态检测

    针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。

    推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。