跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉85

    面向人形机器人的视频模仿学习中的直接动态重定向方法

    针对单目视频演示到人形机器人运动迁移的形态失配问题,本文提出直接动态重定向(DDR)方法。该方法在物理仿真器中利用基于采样的模型预测控制求解器,直接在任务空间追踪人体关键点,无需接触标注或中间几何重定向步骤。

    推荐理由:提出直接动态重定向方法,在仿真中实现零样本迁移至不同尺寸实体机器人,并开源代码与数据集。

  2. arXiv · 机器人与计算机视觉72

    面向动态扰动的鲁棒视觉控制:Agent-Centric Observation Adaptation for Robust Visual Control under Dynamic Perturbations

    论文介绍 VDCS 基准与 ACO-MoE 方法,通过混合专家路由修复图像内容以应对天气、噪声等退化。在八个任务中,ACO-MoE 将 DreamerV3 的平均回报从 562 恢复至 730;在机械臂部署中,该方法将运动模糊和暗光下的成功率从最高 10% 提升至 75%-95%。代码与论文为预印本状态。

  3. arXiv · 机器人与计算机视觉72

    CADMAGEDDON:基于本地推理的高保真 CAD 重建开源代理

    针对专有零件不愿外泄及小团队算力受限的问题,研究提出 CADMAGEDDON,这是一个可在单显卡或当前代笔记本本地运行的开源智能体。该方法将复杂任务拆解为关于构建与修正的简单视觉决策链,利用几何工具支持精确构造,使智能体专注于视觉推理。

  4. arXiv · 机器人与计算机视觉62

    BehaVerify:一种用于行为树的形式化验证工具箱

    BehaVerify 是一个开源工具箱,旨在对行为树(BT)及神经符号行为树进行形式化验证。该工具支持使用领域特定语言(DSL)结合线性时序逻辑和计算树逻辑指定规范,并通过高效编码快速验证。它可生成 Python 和 Haskell 实现,已集成 PyTrees 与 ROS,并部署于多个自主机器人系统以验证运行时监控器。本文聚焦工具箱的使用、功能与实现细节。

  5. arXiv · 机器人与计算机视觉45

    FM-Mamba:一种具有稳定性感知离散化的高效原生二维选择性状态空间模型

    FM-Mamba 提出了一种基于 Fornasini--Marchesini 模型的原生二维选择性状态空间架构,通过耦合递推沿双轴演化并自适应调整步长以抑制局部放大。该模型采用双对角波前扫描执行,无需将特征图展平或固定缩放因子,代码已开源。

  6. arXiv · 机器人与计算机视觉58

    Magflow:一种支持工业级 6D 磁悬浮的可微分仿真方法

    论文介绍了 Magflow,这是一个完全可微分的 GPU 并行仿真器,专门用于模拟具有六自由度的工业级磁悬浮系统。研究团队利用该工具训练了首个纯基于物理仿真的神经网络控制器,并展示了其能零样本迁移到真实硬件,在 4 kHz 频率下满足硬实时约束,甚至实现了传统手工设计无法支持的拓扑结构控制。

  7. arXiv · 机器人与计算机视觉58

    SpikWM:一种高效的端到端脉冲视觉规划世界模型

    针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。

  8. arXiv · 机器人与计算机视觉38

    Fiberpose:基于距离变换神经网络的纤维形态测量与实例分割最先进框架

    Fiberpose 将纤维分析重构为平滑距离变换场的直接回归,通过几何算法在统一工作流中实现直径与方向测量。该独立 Python 桌面应用及 Web 工具在 SEM 图像数据集上,实例分割精度优于 SAM2 和 Cellpose-SAM,直径测量更准于 DiameterJ、Fibar 和 GIFT,且在弱边界密集区域有效并具备跨显微模态的定性泛化能力。

  9. arXiv · 机器人与计算机视觉42

    RoadAnnoter v1.0:开源桌面工具助力道路场景语义分割标注

    RoadAnnoter v1.0 是一款集成六种人机协同模式的开源桌面应用,支持手动绘制、SAM 提示及 SegFormer 预训练建议等。该工具利用 Cityscapes 训练的 SegFormer 和 TinySegNet 生成标注建议,并导出 YOLO 格式数据。研究已将其用于孟加拉国事故地点的 Google Street View 图像标注,定性评估显示其在多样几何特征上具有互补适用性。

  10. arXiv · 机器人与计算机视觉82

    Pelorus:一种具备资源感知能力的激光雷达惯性里程计方法

    针对高分辨率激光雷达在线处理效率低且缺乏资源约束的问题,作者提出了 Pelorus 方法。该方法采用固定容量的体素化法线分布地图和迭代等变状态估计器,通过基于相关性的驱逐机制限制内存占用,并利用成熟度加权的地图更新抑制不一致观测。

    推荐理由:Pelorus 提出资源感知的激光雷达惯性里程计方法,在固定内存容量下实现低 CPU/GPU 负载,并开放 CUDA、Vulkan 及 Metal 后端代码。

  11. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  12. arXiv · 机器人与计算机视觉75

    扩散模型是否学会泛化基础视觉技能?VGL 框架揭示外推与组合泛化局限

    本文介绍 Visual Generative Lab (VGL),一个用于研究扩散模型如何学习和泛化基础视觉技能(如大小、位置、旋转、数量等)的受控实验框架。通过基于规则的合成数据训练,研究发现默认设计下模型的外推能力有限:尺寸和位置在训练范围外仅几像素即退化,数量泛化准确率约 50%,且组合泛化更依赖技能组合数而非数据集规模。代码与数据生成脚本已开源。

  13. arXiv · 机器人与计算机视觉78

    HandRSI:用于手部姿态估计的递归自改进框架

    针对以眼为中心的手部 3D 姿态估计器存在的边界漏检、遮挡误判和抖动问题,作者提出了 HandRSI 递归自改进框架。该框架通过编码代理迭代优化推理工具包,仅在综合指标提升且无显著退化的情况下接受变更,并利用选择性蒸馏监督无真值帧中的手部存在与时序一致性。

    推荐理由:报告了递归自改进框架在边界漏检、遮挡和抖动上的效果,代码与评估器公开。

  14. arXiv · 机器人与计算机视觉45

    开源 da Vinci X/Xi 腹腔镜手术器械模块发布

    该研究团队为 UR5/UR5e 机械臂开发了开源 da Vinci X/Xi 器械模块,通过五电机与电外科中介器实现运动控制及能量激活记录。 bench 测试验证了六次踏板按压的完整事件捕获,ex vivo 演示涵盖脾脏凝固与胆囊离断等任务。光学追踪校准将芬斯特双极钳俯仰增益优化至接近理想值,模块支持腹腔镜手术中的动作、视频及电外科指令时序记录。

  15. Hugging Face Daily Papers83

    π^4:一种用于 4D 场景几何与运动的统一基础模型

    论文介绍 π^4 作为统一的 4D 场景感知基础模型,能从野外未校准的 RGB 输入(单图、无序集合或视频序列)恢复稠密几何、相机位姿和度量尺度,同时输出 2D/3D 点轨迹及移动物体掩码。系统耦合几何分支与几何条件化的运动分支,在共享骨干网络下约含 05B 参数,单次前向传播即可完成大规模场景的联合重建与跟踪。材料提供数据、训练配方及关键设计选择的实证研究,代码与模型已开源。

    推荐理由:该预印本提出统一模型以单张图像或视频序列恢复稠密几何与运动,参数量小于多数基线。

  16. Drake · Release Notes12

    Drake v1.59.0 发布:默认自动建模闭环运动学并支持 macOS 27 Golden Gate

    Drake v1.59.0 默认启用 MultibodyPlant 的闭环运动学自动建模,用户可通过配置选项或 API 关闭该功能。新版本正式支持 macOS 27 Golden Gate,并将 x86-64 最低微架构目标提升至 x86-64-v2。此外,pip 安装需显式选择 [mosek] 额外依赖才能使用 MosekSolver,同时修复了多项内存泄漏与解析问题。

11月17日周二
  1. 量子位72

    光轮智能推出RoboFinals RL Envs强化学习仿真环境

    光轮智能发布RoboFinals RL Envs强化学习仿真环境,依托自研SimFoundry底座实现刚体、柔体与关节体的协同交互,支持时长超8分钟的长程任务如汽车修理。产品包含资产重建、物理建模与任务定义的生成链路,提供RL Ready标准以承载策略试错与迭代,并配套独立评测基准。

  2. 量子位77

    MatOS:面向材料研发的科研智能体系统正式开源

    北京中关村学院 AI 材料研究所发布的 MatOS 科研智能体系统正式开源。该系统将数据、知识、工具等组织为科学资产,通过有状态自适应工作流执行长周期任务,并利用证据驱动机制持续进化资产库。

    推荐理由:MatOS 系统开源,通过分层资产图与有状态工作流解决材料研发长周期任务中的工具接入、状态保持及经验复用难题。

  3. arXiv · 机器人与计算机视觉67

    为何转向有效:迈向大语言模型参数动力学的统一视角

    论文提出将局部微调、LoRA 及激活干预等 LLM 控制方法视为由控制信号诱导的动态权重更新,构建了统一的偏好 - 效用分析框架。研究发现控制强度增加会提升对目标概念的倾向(偏好)但降低生成连贯性(效用),并通过激活流形视角解释了这一权衡机制。作者据此提出了新的转向方法 SPLIT,旨在改善偏好同时更好地保留效用。代码已开源。

  4. arXiv · 机器人与计算机视觉37

    Med-DisSeg:一种基于色散驱动的细粒度医学图像分割框架

    Med-DisSeg 提出轻量级 Dispersive Loss 辅助正则化,通过联合通道与空间建模增强结构响应及多尺度自适应校准,解决目标与周围组织视觉相似导致的特征可分性不足问题。在涵盖三种成像模态的五个公开数据集上,该框架在小尺寸、形变及边界模糊目标的分割任务中展现出有效性与鲁棒性。源代码与预训练模型将在论文接收后发布。

  5. arXiv · 机器人与计算机视觉67

    BLIP-Live:在主动流式视频智能体中平衡及时性与发射精度

    针对实时交互系统需兼顾自然回应与避免误报的需求,本文提出 BLIP-Live 框架,统一了数据、指标、工具链及训练范式。研究构建了包含人类标注的 BLIP-Live-780K 数据集以定义主动行为,并提出了 PAUC-F 指标来衡量早期有用响应同时抑制过度触发。

  6. arXiv · 机器人与计算机视觉73

    基础模型时代的机器人奖励模型:分类、差距与开源基准

    该论文综述了利用基础模型的机器人奖励模型(RRM),将其按输出语义分为五类,并指出当前评估器难以区分任务完成度与执行时序的缺口。为此,作者构建了包含 1,117 条闭环真实视频的新基准 RRM-Bench-1K 及开源工具集 RRM-Hub,支持对 27 种现有评估器的统一测试与新方法验证。

  7. arXiv · 机器人与计算机视觉73

    CLIFT:基于对比学习的 LiDAR 实例特征用于 3D 行人跟踪

    CLIFT 方法通过在 LiDAR 检测器的中间体素特征上引入实例级对比学习目标,将检测器本身转化为跟踪器,无需依赖运动模型或重识别网络。该方法利用检测框内的体素嵌入,通过余弦相似度和匈牙利算法进行跨帧匹配,并在微调过程中保持检测精度基本不变。

  8. arXiv · 机器人与计算机视觉71

    Room for Supervision:一种无需训练的物体检测数据集蒸馏方法

    论文介绍 GRASP 方法,旨在解决现有物体检测数据蒸馏依赖学习模型且可能改变对象空间关系的问题。该方法在不进行网络训练或推理的情况下,通过联合搜索图像选择与空间布局的凸分配子问题,将密集的原生监督信息压缩到有限像素中。

  9. arXiv · 机器人与计算机视觉82

    VoxSAOR:一种基于偶然不确定性建模的语义感知占用鲁棒化框架

    论文针对视觉 3D 占用预测在遮挡和深度模糊下的可靠性问题,提出 VoxSAOR 框架。该方法量化局部语义一致性以获取结构稳定性先验,利用跨视角共识过滤不可靠对应关系,并通过类条件对角高斯分布建模特征位移与离散度。

    推荐理由:提出基于特征空间代理的语义占用鲁棒性框架,通过建模偶然不确定性提升长尾识别与预测校准。

  10. arXiv · 机器人与计算机视觉78

    练习并非免费:测量无重置机器人的具身成本

    本文提出一种开源的低成本测试床,用于测量机器人在无人工重置干预下的实际练习成本(时间、关节磨损及人工注意力)。研究构建了一套包含视觉成功检测与账本记录的硬件系统,记录了每次尝试的详细数据。

    推荐理由:作者构建低成本测试床量化机器人练习的隐性成本,提出基于实测收益的任务调度方案并验证其有效性。

  11. arXiv · 机器人与计算机视觉58

    EasyNav:面向异构环境的实时导航模块化架构

    该论文提出 EasyNav 架构,通过显式共享导航状态解耦映射、定位、规划与控制模块,实现表示无关的流水线替换。作为开源 ROS 2 框架,其在室内激光感知和室外 GPS+3D LiDAR 多楼层场景的真实机器人实验中,相比 Nav2 将反应延迟从 377ms 降至 33ms(室内)及 8ms(室外),并降低了 CPU 与内存占用。

  12. arXiv · 机器人与计算机视觉63

    残差复用:流匹配世界动作模型中的缓存或去噪更少?

    论文研究在 Fast-WAM 6B 参数世界动作模型上,比较跨周期缓存(C$^3$ache)与减少去噪步数的策略。实验显示,保留两个未缓存步骤可在所有初始状态下保持不低于十步的成功率,且将重规划调用时间从 202ms 降至 92ms。研究指出缓存策略脆弱,覆盖路径比例过高会导致成功率下降,并建议测试复用时应基于部署时的采样器和噪声设置。作者开源了评估工具、日志和检查清单。

  13. arXiv · 机器人与计算机视觉53

    DEFDVO:一种用于等距矩形图像的可变形深度视觉里程计方法

    论文提出 DEFDVO 方法,通过结合球面先验的可变形特征提取、端到端的接缝感知估计以及基于球面梯度的补丁选择,解决了全景相机等距矩形投影带来的畸变与采样偏差问题。该方法仅在 TartanAirV2 合成数据上训练,在 360DVO 基准测试中将平均绝对轨迹误差降低了 4.8 倍,并取得了真实世界数据集上的最低平均 ATE。代码已开源。

  14. arXiv · 机器人与计算机视觉48

    RescueVLM:基于 SketchVLM 的开源免训练救援无人机视觉语言框架

    RescueVLM 是基于 SketchVLM 构建的开源、免训练且模型无关的救援工具,支持在本地部署并通过下拉菜单切换底层模型。该框架在德国消防队实地数据及实火演习中验证有效,单次自然语言查询即可将数百张图像浓缩为带 SVG 标注和 GPS 定位的关键帧短名单供指挥官审阅。

  15. 智东西 · 机器人82

    MIT韩松团队新作:基于Qwen3.8的Robot-Use RL让机械臂临摹画作与做化学实验

    MIT韩松团队提出Robot-Use RL方法并公布PEAR后训练引擎,基于Qwen3.8-27B在仿真环境中通过强化学习自主训练机器人操作能力。LIBERO基准测试中任务成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol水平;部署到真实双臂YAM机器人时,任务成功率达60%而基础模型为0%。

    推荐理由:MIT韩松团队提出Robot-Use RL方法,基于Qwen3.8在仿真中通过强化学习训练机器人操作能力,无需人工示范数据且具备零样本迁移至真实机器人的能力。

11月16日周一