CAOS-SLAM:面向动态环境的类无关对象感知实时 vSLAM 框架
针对动态环境下移动物体会导致视觉 SLAM 建图错误和定位精度下降的问题,该研究提出 CAOS-SLAM 框架,在 ORB-SLAM3 基础上扩展了混合感知管线。
推荐理由:该工作提出 CAOS-SLAM,通过混合感知管线在动态环境中实时剔除移动物体干扰,显著降低定位误差并支持轨迹估计。
内容形态
可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。
356 条精选近 30 天 209 条共收录 1,471 条
针对动态环境下移动物体会导致视觉 SLAM 建图错误和定位精度下降的问题,该研究提出 CAOS-SLAM 框架,在 ORB-SLAM3 基础上扩展了混合感知管线。
推荐理由:该工作提出 CAOS-SLAM,通过混合感知管线在动态环境中实时剔除移动物体干扰,显著降低定位误差并支持轨迹估计。
本文介绍了一种针对水下结构的完整 GPU 驻留多机器人三维检测流水线。给定三角网格和携带短距窄视场相机的 K 个机器人,该流程计算六自由度轨迹以覆盖目标表面比例并最小化总成本。
推荐理由:作者提出了一套完整的 GPU 驻留多机器人水下结构三维检测流程,包含可见性计算与路径规划等核心模块的 CUDA 实现。
MIRA 是一种专为可控报告生成的多模态插图深度研究智能体,解决了现有系统在推理中低估搜索轨迹中的图像以及生成时缺乏对报告粒度、多模态组合和证据锚定控制的问题。该工作通过 MIRA-Harness 将用户要求转化为生成合同并连接证据收集、提交、反馈修订与交付四个阶段,利用 Qwen3.6-35B-A3B 基础模型在七个代表性基准上取得最先进性能,能够产出与用户需求对齐且具备可追溯图文证据的报告。
推荐理由:MIRA 模型通过多模态证据整合与生成合同机制,在开源智能体基准上实现最先进性能,并支持用户可控的图文报告生成。
论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。
推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。
该论文介绍 UniJev 框架,通过共享头在文本、图像和视频上进行联合监督训练。研究发现监督决策模型能提升所有模态的准确率,而现有强化学习校准算法对视觉校准效果不一致且改变不大。
推荐理由:提出 UniJev 框架与 Cora 方法,在联合训练中分离准确率校准并降低图像视频 ECE。
论文提出了名为 CorrCLIPv2 的统一免训练对象中心框架,旨在解决对比语言 - 图像预训练(CLIP)在开放词汇分割任务中受噪声类间补丁交互影响的问题。该方法通过解耦类间交互、利用自监督模型的空间相干特征计算注意力分数以减轻掩码不准确性,并设计细化机制同时增强空间细节与语义表示。
推荐理由:该工作提出无需训练的 CorrCLIPv2 框架,利用无标签图像构建记忆库并集成多 CLIP 模型,在多个基准上实现开放词汇分割的新最先进水平。
该论文介绍 DUET 框架,通过仅在机器人接口处结合指令,使下肢运动控制器(基于强化学习)与上肢操作控制器独立运行。实验在宇树 G1 硬件上验证了该方法,展示了与 GR00T N1.7 和 pi0.5 两个不同模型配对的兼容性。
推荐理由:该研究提出 DUET 框架,实现下肢运动与上肢操作的解耦控制,支持在不重新训练平衡策略的情况下更换视觉语言动作模型。
谷歌开源了名为 Harness² 的框架,旨在解决递归自我改进(RSI)在真实开放世界中缺乏标准答案和过度拟合的问题。该系统采用双层递归架构:任务级递归通过提议 - 探测 - 合成机制在无裁判环境下进行行为对比以修补缺陷;改进级递归则将调试记录沉淀为元能力存入经验库,供后续任务检索复用。
推荐理由:谷歌开源 Harness²,通过双层递归架构实现 Agent 在运行中的自我修补与经验沉淀,显著提升了多基准任务表现。
NVIDIA Isaac Lab 3.0 正式向公众发布,确立了下一代机器人学习的基准。该版本引入工厂式多后端架构,允许任务在 Newton、PhysX 等物理引擎及不同渲染器间切换而无需重写逻辑;提供 Warp 原生数据路径实现零拷贝访问;并支持 Kit-less 执行模式以简化部署流程。
推荐理由:NVIDIA Isaac Lab 3.0 正式发布,提供跨物理引擎与渲染器的统一任务接口及零拷贝数据路径。
针对动态环境下单目同时定位与建图(SLAM)的挑战,本文提出 FLoTS-SLAM 系统。该方法通过计算光流与相机运动诱导的光流之间的残差来直接估计动态区域的不确定性,结合帧对齐精度减少误检。
推荐理由:提出基于光流残差直接估计动态区域的方法,在 DAVIS 数据集上动态掩码 IoU 提升 35%,显著降低姿态与深度重建误差。
针对开源图文生成模型在处理密集文本和复杂版式上的不足,该研究提出了 MOSS-Image 系统。该系统通过从头预训练的 5B 参数单流扩散 Transformer(DiT)实现了双语长文本渲染与精确的版式控制,并开发了意图感知代理提示增强模块以将用户请求转化为详细的内容与布局规范。
推荐理由:开源图文生成系统 MOSS-Image 在长文本渲染与复杂布局控制上达到开源模型最优,并同步开放训练配方与评测基准。
针对 VLA 模型在多任务环境中技能整合困难的问题,该研究提出 NestedVLA 框架,利用嵌套超网络根据目标任务合成自适应的动作专家参数,并与冻结的基础 VLA 组合,同时保留特定任务的压缩 VLM 残差。
推荐理由:提出 NestedVLA 框架,通过超网络生成任务自适应参数实现技能合并,在 MetaWorld、ManiSkill 和 CALVIN 基准上表现优于模型合并基线。
论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。
推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。
论文提出 Agent World Model in the Wild (WildAWM),这是一个完全由开源模型驱动的流水线,用于合成可控的图形用户界面、模型上下文协议服务和命令行接口联合支持的执行环境。
推荐理由:提出全开源的 WildAWM 环境合成管线,生成需百步以上解决的长程任务以训练通用计算机操作智能体。
VAST 正式发布并开源实时世界模型 EdenLive,首次实现在实时生成前提下同时完成任意参考输入、任意画风生成和长时连续运行。在单张 Nvidia RTX 5090 消费级显卡上,720P 条件下 5B 模型生成速度超过 24FPS,端到端延迟为百毫秒级,支持分钟级画面持续生成。
推荐理由:VAST 正式发布并开源实时世界模型 EdenLive,支持在消费级显卡上实现分钟级连续生成与交互渲染。
DeepSeek 正式发布新模型 DeepSeek-V4.1-Flash-1017,该版本在代码与 Agent 任务基准测试中表现提升,同时优化了运行时间与 Token 消耗。
推荐理由:DeepSeek-V4.1-Flash-1017 在基准测试与 Agent 任务中提升性能并降低 Token 消耗,同时开放自研搜索 API 以支持网页抓取与分析。
优必选发布自研具身世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 三大公认基准评测中均位列第一。
推荐理由:优必选推出 Thinker-WM,在三大世界模型基准中均获第一,提供统一多模态表征架构与开源入口。
针对长程任务中运行前沿模型昂贵而小模型易失败的矛盾,本文提出 LEASH 这一无需训练的框架。该框架利用弱模型的隐状态不确定性信号,仅在必要时将控制权移交强模型,并在移交后通过影子观测器对黑盒强模型进行持续监督。
推荐理由:提出无需训练的 LEASH 框架,利用弱模型隐状态不确定性实现按需调用强模型并持续监督,在 OSWorld 基准上显著降低推理成本。
论文介绍 FDE-Gym 基准,包含来自 18 个行业、20 种场景的 95 项端到端交付任务,模拟具有脚本化利益相关者和可修改系统的生产环境。评估显示,在需发现未声明约束的真实设置中,最佳配置平均得分为 0.56,仅解决 14 项任务;即使获取所有关键事实,能实现高业务提升的任务也仅有 10 项。
推荐理由:该基准通过模拟真实交付场景,揭示了模型在发现未声明约束时的性能瓶颈及从事实到有效解决方案的差距。
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。