Stereo-Planner:学习从立体图像到轨迹的规划以实现四旋翼零样本仿真到现实导航
针对现有导航系统依赖专用深度传感器或显式深度重建的问题,本文提出 Stereo-Planner,这是一个端到端的视觉到轨迹框架,能够仅凭立体 RGB 观测实现零样本的仿真到现实(Sim-to-Real)规划。
针对现有导航系统依赖专用深度传感器或显式深度重建的问题,本文提出 Stereo-Planner,这是一个端到端的视觉到轨迹框架,能够仅凭立体 RGB 观测实现零样本的仿真到现实(Sim-to-Real)规划。
针对单目视频演示到人形机器人运动迁移的形态失配问题,本文提出直接动态重定向(DDR)方法。该方法在物理仿真器中利用基于采样的模型预测控制求解器,直接在任务空间追踪人体关键点,无需接触标注或中间几何重定向步骤。
推荐理由:提出直接动态重定向方法,在仿真中实现零样本迁移至不同尺寸实体机器人,并开源代码与数据集。
论文介绍 VDCS 基准与 ACO-MoE 方法,通过混合专家路由修复图像内容以应对天气、噪声等退化。在八个任务中,ACO-MoE 将 DreamerV3 的平均回报从 562 恢复至 730;在机械臂部署中,该方法将运动模糊和暗光下的成功率从最高 10% 提升至 75%-95%。代码与论文为预印本状态。
针对专有零件不愿外泄及小团队算力受限的问题,研究提出 CADMAGEDDON,这是一个可在单显卡或当前代笔记本本地运行的开源智能体。该方法将复杂任务拆解为关于构建与修正的简单视觉决策链,利用几何工具支持精确构造,使智能体专注于视觉推理。
BehaVerify 是一个开源工具箱,旨在对行为树(BT)及神经符号行为树进行形式化验证。该工具支持使用领域特定语言(DSL)结合线性时序逻辑和计算树逻辑指定规范,并通过高效编码快速验证。它可生成 Python 和 Haskell 实现,已集成 PyTrees 与 ROS,并部署于多个自主机器人系统以验证运行时监控器。本文聚焦工具箱的使用、功能与实现细节。
Autoware Foundation Robotaxi Working Group 开源了 AutoE2E v1.0 端到端驾驶模型,该模型采用时序鸟瞰图架构结合多相机感知与 HD 地图信息预测车辆运动。
FM-Mamba 提出了一种基于 Fornasini--Marchesini 模型的原生二维选择性状态空间架构,通过耦合递推沿双轴演化并自适应调整步长以抑制局部放大。该模型采用双对角波前扫描执行,无需将特征图展平或固定缩放因子,代码已开源。
论文介绍了 Magflow,这是一个完全可微分的 GPU 并行仿真器,专门用于模拟具有六自由度的工业级磁悬浮系统。研究团队利用该工具训练了首个纯基于物理仿真的神经网络控制器,并展示了其能零样本迁移到真实硬件,在 4 kHz 频率下满足硬实时约束,甚至实现了传统手工设计无法支持的拓扑结构控制。
针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。
Fiberpose 将纤维分析重构为平滑距离变换场的直接回归,通过几何算法在统一工作流中实现直径与方向测量。该独立 Python 桌面应用及 Web 工具在 SEM 图像数据集上,实例分割精度优于 SAM2 和 Cellpose-SAM,直径测量更准于 DiameterJ、Fibar 和 GIFT,且在弱边界密集区域有效并具备跨显微模态的定性泛化能力。
RoadAnnoter v1.0 是一款集成六种人机协同模式的开源桌面应用,支持手动绘制、SAM 提示及 SegFormer 预训练建议等。该工具利用 Cityscapes 训练的 SegFormer 和 TinySegNet 生成标注建议,并导出 YOLO 格式数据。研究已将其用于孟加拉国事故地点的 Google Street View 图像标注,定性评估显示其在多样几何特征上具有互补适用性。
针对高分辨率激光雷达在线处理效率低且缺乏资源约束的问题,作者提出了 Pelorus 方法。该方法采用固定容量的体素化法线分布地图和迭代等变状态估计器,通过基于相关性的驱逐机制限制内存占用,并利用成熟度加权的地图更新抑制不一致观测。
推荐理由:Pelorus 提出资源感知的激光雷达惯性里程计方法,在固定内存容量下实现低 CPU/GPU 负载,并开放 CUDA、Vulkan 及 Metal 后端代码。
针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。
推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。
本文介绍 Visual Generative Lab (VGL),一个用于研究扩散模型如何学习和泛化基础视觉技能(如大小、位置、旋转、数量等)的受控实验框架。通过基于规则的合成数据训练,研究发现默认设计下模型的外推能力有限:尺寸和位置在训练范围外仅几像素即退化,数量泛化准确率约 50%,且组合泛化更依赖技能组合数而非数据集规模。代码与数据生成脚本已开源。
针对以眼为中心的手部 3D 姿态估计器存在的边界漏检、遮挡误判和抖动问题,作者提出了 HandRSI 递归自改进框架。该框架通过编码代理迭代优化推理工具包,仅在综合指标提升且无显著退化的情况下接受变更,并利用选择性蒸馏监督无真值帧中的手部存在与时序一致性。
推荐理由:报告了递归自改进框架在边界漏检、遮挡和抖动上的效果,代码与评估器公开。
HandUMI 是一种佩戴式手部接口,利用可更换指尖匹配机械手夹爪,配合 Quest/PICO 控制器追踪手部及编码器测量开合度,实现无需机器人的双手演示采集。
该研究团队为 UR5/UR5e 机械臂开发了开源 da Vinci X/Xi 器械模块,通过五电机与电外科中介器实现运动控制及能量激活记录。 bench 测试验证了六次踏板按压的完整事件捕获,ex vivo 演示涵盖脾脏凝固与胆囊离断等任务。光学追踪校准将芬斯特双极钳俯仰增益优化至接近理想值,模块支持腹腔镜手术中的动作、视频及电外科指令时序记录。
论文介绍 π^4 作为统一的 4D 场景感知基础模型,能从野外未校准的 RGB 输入(单图、无序集合或视频序列)恢复稠密几何、相机位姿和度量尺度,同时输出 2D/3D 点轨迹及移动物体掩码。系统耦合几何分支与几何条件化的运动分支,在共享骨干网络下约含 05B 参数,单次前向传播即可完成大规模场景的联合重建与跟踪。材料提供数据、训练配方及关键设计选择的实证研究,代码与模型已开源。
推荐理由:该预印本提出统一模型以单张图像或视频序列恢复稠密几何与运动,参数量小于多数基线。
英伟达在 CoRL 大会正式发布 GR00T 2 世界动作模型、Isaac Lab 3.0 开源框架以及 Isaac Lab-Arena 0.4 版开发者预览版。
Genesis World v1.4.7 更新优化非刚性求解器与耦合器,显著减少内存占用并提升多物理场仿真可靠性。所有求解器在 `gs.init(use_deterministic_algorithms=True)` 模式下实现完全确定性,代价约为 15% 的速度下降。
Drake v1.59.0 默认启用 MultibodyPlant 的闭环运动学自动建模,用户可通过配置选项或 API 关闭该功能。新版本正式支持 macOS 27 Golden Gate,并将 x86-64 最低微架构目标提升至 x86-64-v2。此外,pip 安装需显式选择 [mosek] 额外依赖才能使用 MosekSolver,同时修复了多项内存泄漏与解析问题。
光轮智能发布RoboFinals RL Envs强化学习仿真环境,依托自研SimFoundry底座实现刚体、柔体与关节体的协同交互,支持时长超8分钟的长程任务如汽车修理。产品包含资产重建、物理建模与任务定义的生成链路,提供RL Ready标准以承载策略试错与迭代,并配套独立评测基准。
北京中关村学院 AI 材料研究所发布的 MatOS 科研智能体系统正式开源。该系统将数据、知识、工具等组织为科学资产,通过有状态自适应工作流执行长周期任务,并利用证据驱动机制持续进化资产库。
推荐理由:MatOS 系统开源,通过分层资产图与有状态工作流解决材料研发长周期任务中的工具接入、状态保持及经验复用难题。
论文提出将局部微调、LoRA 及激活干预等 LLM 控制方法视为由控制信号诱导的动态权重更新,构建了统一的偏好 - 效用分析框架。研究发现控制强度增加会提升对目标概念的倾向(偏好)但降低生成连贯性(效用),并通过激活流形视角解释了这一权衡机制。作者据此提出了新的转向方法 SPLIT,旨在改善偏好同时更好地保留效用。代码已开源。
OpenRoIS 是一个由社区驱动的开源中间件,实现了 OMG 标准化的 Robotic Interaction Service (RoIS) Framework 2.0。
该论文提出一种名为 Object-Aware Velocity Control (OAVC) 的无训练图像编辑框架,旨在解决现有基于速度的编辑器在对象中心编辑时易出现的背景漂移和边界不稳定问题。
Med-DisSeg 提出轻量级 Dispersive Loss 辅助正则化,通过联合通道与空间建模增强结构响应及多尺度自适应校准,解决目标与周围组织视觉相似导致的特征可分性不足问题。在涵盖三种成像模态的五个公开数据集上,该框架在小尺寸、形变及边界模糊目标的分割任务中展现出有效性与鲁棒性。源代码与预训练模型将在论文接收后发布。
针对实时交互系统需兼顾自然回应与避免误报的需求,本文提出 BLIP-Live 框架,统一了数据、指标、工具链及训练范式。研究构建了包含人类标注的 BLIP-Live-780K 数据集以定义主动行为,并提出了 PAUC-F 指标来衡量早期有用响应同时抑制过度触发。
论文提出了 Linglong Agent Service (agentsvc),这是一个自托管的 HTTP 服务和可嵌入 Python 运行时,将执行站点作为模型、工具和上下文之外的可配置维度。
该论文综述了利用基础模型的机器人奖励模型(RRM),将其按输出语义分为五类,并指出当前评估器难以区分任务完成度与执行时序的缺口。为此,作者构建了包含 1,117 条闭环真实视频的新基准 RRM-Bench-1K 及开源工具集 RRM-Hub,支持对 27 种现有评估器的统一测试与新方法验证。
CLIFT 方法通过在 LiDAR 检测器的中间体素特征上引入实例级对比学习目标,将检测器本身转化为跟踪器,无需依赖运动模型或重识别网络。该方法利用检测框内的体素嵌入,通过余弦相似度和匈牙利算法进行跨帧匹配,并在微调过程中保持检测精度基本不变。
论文介绍 GRASP 方法,旨在解决现有物体检测数据蒸馏依赖学习模型且可能改变对象空间关系的问题。该方法在不进行网络训练或推理的情况下,通过联合搜索图像选择与空间布局的凸分配子问题,将密集的原生监督信息压缩到有限像素中。
论文针对视觉 3D 占用预测在遮挡和深度模糊下的可靠性问题,提出 VoxSAOR 框架。该方法量化局部语义一致性以获取结构稳定性先验,利用跨视角共识过滤不可靠对应关系,并通过类条件对角高斯分布建模特征位移与离散度。
推荐理由:提出基于特征空间代理的语义占用鲁棒性框架,通过建模偶然不确定性提升长尾识别与预测校准。
本文提出一种开源的低成本测试床,用于测量机器人在无人工重置干预下的实际练习成本(时间、关节磨损及人工注意力)。研究构建了一套包含视觉成功检测与账本记录的硬件系统,记录了每次尝试的详细数据。
推荐理由:作者构建低成本测试床量化机器人练习的隐性成本,提出基于实测收益的任务调度方案并验证其有效性。
该论文提出 EasyNav 架构,通过显式共享导航状态解耦映射、定位、规划与控制模块,实现表示无关的流水线替换。作为开源 ROS 2 框架,其在室内激光感知和室外 GPS+3D LiDAR 多楼层场景的真实机器人实验中,相比 Nav2 将反应延迟从 377ms 降至 33ms(室内)及 8ms(室外),并降低了 CPU 与内存占用。
论文研究在 Fast-WAM 6B 参数世界动作模型上,比较跨周期缓存(C$^3$ache)与减少去噪步数的策略。实验显示,保留两个未缓存步骤可在所有初始状态下保持不低于十步的成功率,且将重规划调用时间从 202ms 降至 92ms。研究指出缓存策略脆弱,覆盖路径比例过高会导致成功率下降,并建议测试复用时应基于部署时的采样器和噪声设置。作者开源了评估工具、日志和检查清单。
论文提出 DEFDVO 方法,通过结合球面先验的可变形特征提取、端到端的接缝感知估计以及基于球面梯度的补丁选择,解决了全景相机等距矩形投影带来的畸变与采样偏差问题。该方法仅在 TartanAirV2 合成数据上训练,在 360DVO 基准测试中将平均绝对轨迹误差降低了 4.8 倍,并取得了真实世界数据集上的最低平均 ATE。代码已开源。
RescueVLM 是基于 SketchVLM 构建的开源、免训练且模型无关的救援工具,支持在本地部署并通过下拉菜单切换底层模型。该框架在德国消防队实地数据及实火演习中验证有效,单次自然语言查询即可将数百张图像浓缩为带 SVG 标注和 GPS 定位的关键帧短名单供指挥官审阅。
MIT韩松团队提出Robot-Use RL方法并公布PEAR后训练引擎,基于Qwen3.8-27B在仿真环境中通过强化学习自主训练机器人操作能力。LIBERO基准测试中任务成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol水平;部署到真实双臂YAM机器人时,任务成功率达60%而基础模型为0%。
推荐理由:MIT韩松团队提出Robot-Use RL方法,基于Qwen3.8在仿真中通过强化学习训练机器人操作能力,无需人工示范数据且具备零样本迁移至真实机器人的能力。
美国卡内基梅隆大学研究人员宣布开源机器人学习框架Eden,由博士生Kashu Yamazaki主导。该框架基于Genesis构建,整合了任务配置、仿真训练与真机部署全流程,内置245个可组合MDP组件及47种机器人模型。