LocalAgent:面向细粒度实例级一致性的协作智能体验证方法
针对多模态大语言模型在细粒度实例级一致性验证上的不足,本文提出 LocalAgent 框架,结合通用 MLLM 与轻量级专用验证器(LEV)。LEV 包含外观一致性(LAC)和几何对应性(LGC)模块,分别处理光照变化与视角变化下的匹配问题。
针对多模态大语言模型在细粒度实例级一致性验证上的不足,本文提出 LocalAgent 框架,结合通用 MLLM 与轻量级专用验证器(LEV)。LEV 包含外观一致性(LAC)和几何对应性(LGC)模块,分别处理光照变化与视角变化下的匹配问题。
论文提出了 RiO-DETRv2,这是首个面向旋转目标检测(Oriented Object Detection)的实时端到端 Transformer 架构。针对分布回归在水平检测中成功但难以直接扩展至旋转检测的问题,该工作引入了对象对齐边界分布细化、圆形到局部角残差细化以及统一 OBB 质量对齐学习等设计,以解决几何错位和拓扑不一致问题。
T-DIG 提出一种迭代式文本条件多样性框架,利用冻结生成器与 LLM 策略通过 GRPO 训练实现多轴变异探索。该方法无需访问模型权重即可在开源及专有模型上应用,并发布了首个基于人类书写轴与真实用户交互构建的多样性数据集。实验显示其在提升文本条件多样性的同时保持了基线提示对齐,远超现有基准。
论文介绍 GGraph,这是一个开源的 GPU 加速图库,旨在为自主移动机器人提供稀疏的空间表示以支持规划与强化学习。现有图库多针对单机器人或固定图设计且依赖 CPU,限制了可扩展性。
英伟达发布并开源了面向机器人数据集的数据引擎Flora,该系统由动作描述、时间分段和奖励三个模型组成,可将原始机器人视频转化为带时间戳的动作描述及过程/结果奖励。Flora基于Qwen3.5微调,在WGO-Bench等基准测试中表现优异,标注成本约为GPT-6 Astra的1/125(每小时0.72美元对比88.49美元),目前已用于训练GR00T系列模型。
推荐理由:英伟达开源Flora数据引擎,将机器人视频转化为高质量训练信号,成本仅为GPT-6 Astra的1/125。
英伟达发布并开源了实时生成式手术世界模型Cosmos3-H-Dreams,该模型基于160亿参数基础模型开发,利用约526分钟真实腹腔镜胆囊切除术视频训练。通过教师 - 学生蒸馏和FlashDreams流式推理框架,模型仅需单张NVIDIA RTX PRO 6000 GPU即可实现实时交互,支持根据器械操作指令生成对应的手术画面及组织形变模拟。
推荐理由:英伟达开源了支持单卡实时推理的手术世界模型,将生成式仿真扩展至腹腔镜胆囊切除术场景。
论文提出 Agent S4,一种能利用任务经验自动构建与优化界面的自主科学智能体。该方法通过元智能体分析合成任务轨迹,在无成功标签下进化界面库,并利用群体进化策略在未见验证任务上筛选高泛化性方案。
针对大视觉语言模型(LVLM)幻觉检测中存在的过自信和高延迟问题,该研究提出 SpanCalib-VLM 混合双系统架构。该方法融合 XLM-RoBERTa-Large 与 SigLIP 构建多模态序列标记器,并与微调后的生成式 VLM(Qwen3.5-4B-SHROOM-SFT)结合,通过 Union-Calibrated Fusion 策略利用校准概率重评分候选跨度。
针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。
推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。
Neural Implicit Energy Optimization for LiDAR Mapping 利用形状算子的曲率先验对符号距离场进行正则化,有效解决了稀疏噪声输入导致的几何抖动与伪影问题。实验表明该方法在大规模数据集上实现了保持几何保真度的平滑重建,且无需额外推理时间成本。代码已公开可用。
AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。
推荐理由:该框架通过微调与强化学习结合,在不依赖外部记忆的情况下将 9B 参数规划器成功率从 18.1% 提升至 71.0%,接近带外部记忆的基线水平。
ScreenCalib 方法利用普通可编程显示屏上的 AprilTag 标记和屏幕物理边界,实现激光雷达与相机的外参标定。该方法通过标签引导提取、几何假设生成及场景边缘消歧义解决显示几何带来的关联模糊问题。
推荐理由:提出用普通显示屏替代专用标定板进行激光雷达与相机外参校准,通过多姿态共识降低误差。
MARE(Modular Autonomy and Rendering Environment)是一个基于 Unreal Engine 5 和 ROS 2 的开源仿真套件,专为月球车在极端光照条件下的感知与自主导航设计。
针对多模态搜索代理训练中视觉线索被文本捷径弱化的问题,本文提出 RACE 框架,利用图像构建从目标到答案的任务依赖。该框架通过参照抽象(RA)将身份揭示性文本替换为视觉或关系引用,并通过组合证据(CE)将多实体事实链接为需要综合所有贡献才能回答的问题。
推荐理由:提出 RACE 框架,通过图像条件任务合成提升多模态搜索代理的视觉 grounding 能力。
LocoPilot 是一个在 Unitree Go2 四足机器人搭载 AgileX Piper L 机械臂上实现的单操作员双边遥操作与数据收集框架。该系统利用第二只机械臂作为领导者及两个手持控制器,同时控制基座、身体姿态、机械臂和夹爪;通过被动约束的触觉通道向操作员渲染估计的作用力,无需专用力/扭矩传感器。
论文提出 EgoACT 测试时框架,旨在将语义动作从自观视角中解耦并在新的视觉上下文中复现,以支持可扩展的世界仿真和具身策略学习。现有基于条件引导的视频生成方法引入几何估计误差,而运动迁移方法难以编码丰富的接触动力学。
ICIBS 通过在网络中整合额外的空间与地理空间上下文信息,解决了温带冰川因高含水量导致的雷达信号散射和衰减问题。该方法在 IceAnatomy 基准数据集上实现最先进性能,FAU 子集平均误差为 10.9 米,CReSIS 子集为 43.4 米。在新推出的巴塔哥尼亚考察数据上,模型泛化能力优于基线 49.6%,代码与数据集已公开。
arXiv 论文 LaLa-World 展示了一种 JEPA 风格的潜在世界模型方法,该模型采用视频生成模型的语言条件接口,从仿真环境和机器人轨迹中联合学习。其设计包含将数值动作与视觉变化统一描述为语言,并基于大语言模型构建预测器以解释语言条件。
该研究针对现有深度学习标定方法因训练数据外参单一而导致的过拟合与泛化差问题,提出 SynCalib 框架。该方法利用标注有深度真值的全景图像数据集,在严格的外参约束下合成多模态标定数据。
OmniVLoc 提出一种基于拓扑度量框架的全景视觉定位系统,通过融合全球地物识别与单目深度估计解决传统系统在场景变化下的鲁棒性问题。该系统利用尺度感知位姿图求解与球面束调整精确恢复度量级位姿,并设计分层验证机制过滤错误输出。研究团队将在论文发表时公开源代码与数据集以回馈社区。
论文提出 LoRASpace,这是一种免训练方法,利用奇异值分解找到保留 99% 因子能量的最小子空间。该方法支持两种推理模式:静态合并模式(以合并成本换取质量)和动态路由模式(根据输入选择)。在扩散模型池中,动态模式比复合推理快 6 倍以上,因为只需运行一次主干网络前向传播。代码已开源。
推荐理由:提出免训练方法 LoRASpace,通过池级共享子空间实现多 LoRA 静态合并或动态路由,在扩散模型池中显著降低推理延迟。
量子位报道了 MemTensor 开源的 MemT 1.0 系列模型(Nano 与 Flash),该模型将经验编码为内部动态状态,通过专门的记忆分支参与计算。在 SWE-bench Verified 任务中,MemT-1.0-Nano 平均成功率为 69.73%,优于无经验基线;在迷宫探索和信息更新场景中展现了更好的长期记忆复用能力。
推荐理由:MemT 1.0 系列将记忆编码为内部动态状态,在 SWE-bench 等基准上表现接近文本经验且推理成本更低。
Matrix-Game 4.0 是首个基于“可执行游戏框架”设计的系统,通过轻量级引擎维护世界状态、多模态编码代理生成代码及动态描述,以及基于自回归视频模型的渲染器将低多边形代理转化为高保真画面。
Jianrui Zhang 等人在 NeurIPS 2026 提出 SMART 框架,旨在解决多模态检索中单向量表示丢失局部证据的问题。研究发现梯度可传递至前序隐藏状态且这些状态已组织好用于余弦匹配,因此 SMART 通过在推理阶段对冻结的隐藏状态进行直接后期交互(late-interaction),在不重新训练的情况下即可提升性能。
DIGS 是一种无需训练的开放词汇 3D 分割框架,通过类无关映射和多模态编码将实例发现与语言命名解耦。该方法在 Gaussian 层面维护显式的 Top-M 标签分布以保留边界处的多峰特征,并利用双向状态机聚合为持久化的类无关本体;随后融合 CLIP 视觉嵌入与大模型生成的属性描述以消除视觉相似性歧义。
该论文提出 GeoBridge 进化框架,旨在解决深度估计和高斯重建等几何视觉系统中解码器内部计算无法统一优化的问题。通过残差、序列及并行组合搜索阶段内拓扑结构,利用功能树编码支持层级变异与梯度敏感性对齐评估,并在目标系统实例化训练。
MIRA 是一种专为室内研究设计的模块化微型无人机,采用可复制的 3D 打印 PLA 机身和可拆卸机臂,并封装了基于 Micro XRCE-DDS 的低层软件包以管理从伴飞计算机到自动驾驶仪的通信桥接。
MonoPRIO 通过自适应先验条件化解决单目深度与尺度不确定性,在 KITTI 测试服务器上实现 Car、Pedestrian 和 Cyclist 类别最高的 Moderate AP。该方法无需额外深度或 LiDAR 监督,在仅用图像数据时获得最佳 3D 边界框精度且延迟低于 MonoCLUE。代码、训练模型及复现材料已公开,适用于低数据与部分遮挡场景。
论文提出 CoDe-MAE 框架,通过条件对比学习(CCL)和跨模态退化目标预测(CDP)解决高分辨率光学与合成孔径雷达(SAR)的联合预训练难题。作者构建了包含 100 万样本的 OSPretrain-1M 数据集,并展示了 MMATR-X 模型在单模态及双模态任务上的领先迁移性能。实验还验证了该方法在遥感光 -DEM 及室内 RGB-depth 等异构模态对中的有效性。
该论文提出在由强大2D基础模型(如DINOv2、SigLIP2等)导出的高维隐式3D潜空间内直接进行场景生成,以解决传统2D多视图方法存在的表征冗余和空间一致性受限问题。
推荐理由:原文提出在基于2D基础模型的3D隐式潜空间直接进行场景生成,实验验证了该方法在效率与空间一致性上的优势。
该论文介绍 Latent-WAM,一种高效的端到端自动驾驶框架,通过空间感知压缩编码器从基础模型蒸馏几何知识并将多视角图像压缩为紧凑场景令牌,同时利用因果 Transformer 构建动态潜在世界模型以自回归预测未来状态。
该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。
推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。
针对流式循环模型在长序列中因平衡历史信息与新观测而导致的灾难性遗忘问题,本文提出无需训练的 TTSA3R 框架。该方法利用时序状态演化模式调节更新幅度,并通过观测 - 状态对齐定位需更新的区域,融合互补信号确定更新策略。
哥廷根大学团队发布开源软件 SiLVi,填补了现有工具在行为标注与个体定位间无法同时实现的空白。该软件允许研究人员直接在视频中注释行为及互动,生成结构化数据以训练和验证计算机视觉模型。其文档、下载说明及 Linux 版本已提供,适用于从动物行为分析到提取动态场景图的人类交互标注任务。
针对直接应用大语言模型进行多机器人编队控制时易出现行为不稳定或发散的问题,本文提出 LLM-Flock 框架。该框架通过基于影响的共识协议让机器人迭代优化编队计划以实现无中心协调,并采用结合大模型紧迫性推理与程序化碰撞检查的双层避障策略。
OpenVLHarness 是一个围绕能力层和持久化多模态记忆构建的多模态推理框架。其能力层整合任务级工具接口与证据渲染,将异构后端输出转化为模型可读观测;持久化记忆保留图像、结构化数据和网页引用作为可寻址工件;代码接口则对存储数据执行生成程序以组合多工具结果。
Ropedia W0 是首个涵盖人类与机器人的自中心运动操作世界基础模型。作者整理了包含 1 万小时人类数据和 3 千小时机器人数据的 Xp-Data,并引入统一运动学表征(相机姿态编码运动、投影骨架编码操作)及高质量遥操作基准 Xp-Teleop。
论文指出世界动作模型(WAMs)在联合预测视频和生成动作时,对任务无关的视觉外观变化过于敏感。为此提出 PICA-WAM 框架,将扰动不变性建模为辅助的跨外观自对齐任务,利用 EMA 教师网络处理正常观测以提供深层目标,引导在线 WAM 的浅层动作表示与之对齐。
推荐理由:针对世界动作模型对无关视觉扰动的敏感性,提出自监督框架 PICA-WAM 以提升鲁棒性。
针对相机位置变化导致的多光谱成像植被指数提取难题,一款开源软件工具通过交互式 GUI 与批处理脚本实现了无需 GIS 专长的自动化测量。该系统原生读取非地理参考像素坐标栅格,在演示中利用 18 张轨载影像单次会话完成 NDVI、NDRE 及 SAVI 的均值提取并复用 ROI 坐标。该方案支持静态传感器部署不切实际场景下的可重复量化分析,解决了传统方法劳动强度大的问题。
针对现有两阶段方法在目标关联与融合识别间存在优化不一致及误差传播问题,论文提出 CARNet 统一框架,通过共享目标对表示联合优化跨视角关联与识别融合。该方法引入空间线索提升稠密场景下的关联可靠性,并采用因果干预策略增强鲁棒性。此外,作者发布了 MDMT-CD 数据集,在原有车辆标注基础上增加细粒度类别标签,作为多无人机协同车辆检测专用基准。