跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 3 页

11月16日周一第 41–60 条
  1. arXiv · 机器人与计算机视觉78

    Graph Your Own Prompt:一种基于模型预测图的自提示学习框架

    作者提出 Graph Consistency Regularization (GCR) 框架,通过引入参数无关的图一致性层,将模型自身的预测语义转化为全局类感知掩码预测图,并与批次级特征相似性图进行对齐。该机制利用自适应权重从图差异中学习各层重要性,优先保留语义可靠层并抑制噪声层,从而在不修改网络架构或训练流程的情况下提升特征质量与泛化能力。

    推荐理由:提出无需修改架构的图一致性正则化框架,利用模型自身预测构建类感知特征图以抑制噪声。

  2. arXiv · 机器人与计算机视觉78

    D2ToF:基于轻量级单光子 LiDAR 波形的单步扩散深度超分辨率方法

    论文提出 D2ToF 框架,利用蒸馏扩散策略和多元引导机制,将低分辨率单光子 LiDAR 波形(8x8)一步重建为高分辨率深度图(128x128),推理耗时约 83 毫秒。实验结果显示该方法优于现有基线,解决了极差输入上采样问题。

    推荐理由:提出 D2ToF 一步扩散框架,实现单光子 LiDAR 波形到高分辨率深度图的超分辨率重建。

  3. arXiv · 机器人与计算机视觉78

    DRA-HTR:解耦表示与适应以进行手写文本识别

    针对历史文档手写文本识别因标注数据稀缺和领域偏移而面临的挑战,本文提出 DRA-HTR 无监督生成域适应框架。该方案结合源域预训练与目标域视觉特征适应,通过生成目标风格源样本进行任务特定训练;并引入 DRAL-HTR 集成大语言模型进行后 HTR 校正以补充语言适应。

    推荐理由:提出 DRA-HTR 无监督生成域适应框架,在七个数据集上建立手写文本识别领域适应新最先进并提升鲁棒性。

  4. arXiv · 机器人与计算机视觉82

    Eco3R:基于固定键推理的高效可流式长视频前馈三维重建方法

    论文提出免训练的 EcoVGGT 推理框架,利用固定关键帧集(Pinned Key Set)替代内容选择机制,实现长视频三维重建的恒定成本处理。实验显示该方法在 ScanNet 1000 帧视频上将速度提升 13.8 倍,并在 VGGT 模型上通过微调对齐模块将成功率从 70% 提升至 82%,同时支持单 GPU 处理 4000 帧及在线流式重建。

    推荐理由:提出免训练推理框架 EcoVGGT,通过固定关键帧实现长视频三维重建的高效流式处理。

  5. arXiv · 机器人与计算机视觉82

    TelePhysica:基于智能体的物理交互式场景重构方法

    TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。

    推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。

  6. arXiv · 机器人与计算机视觉84

    DoubleTake:面向长文档理解的视觉证据聚焦验证方法

    针对长文档问答中模型即使检索到充分证据仍可能回答错误的问题,论文提出了 DoubleTake 框架。该方法无需训练,利用初始阅读生成的候选答案与证据记录指导二次检索,通过规划器生成事实性问题、验证器基于源图像盲答以及推理器整合观察结果来解决原始问题。

    推荐理由:DoubleTake 框架在冻结 Qwen3-VL-8B-Instruct 骨干上,通过二次聚焦验证显著提升了长文档问答的准确率。

  7. arXiv · 机器人与计算机视觉78

    Ego2Flow:基于真实城市地图蒸馏的自动驾驶交通系统影响基准

    该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。

    推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。

  8. arXiv · 机器人与计算机视觉78

    QCAP-VQA:面向医学视觉问答的问题条件化上限先验质量监督

    论文提出 QCAP-VQA 模型,利用排名分割提案构建问题条件的先验来监督交叉注意力头,并通过 capped prior-mass 目标函数限制先验内的注意力质量。

    推荐理由:提出基于问题条件的 capped prior-mass 监督方法,在无需专家掩码下实现空间监督并验证了自动先验的局限性。

  9. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。

11月14日周六
11月13日周五
  1. arXiv · 机器人与计算机视觉82

    Instant NuRec:面向驾驶场景仿真的前馈式 3D 高斯重建模型

    NVIDIA 发布 Instant NuRec,这是一个前馈神经网络模型,旨在解决传统神经仿真方法速度慢且需逐场景调优的问题。该模型仅需一次前向传播,即可将多视角驾驶日志(约 10-20 秒)快速重建为包含静态与动态层的 3D 高斯泼溅(3DGS)世界、天空立方体及相机 ISP 校正结果。

    推荐理由:NVIDIA 提出 Instant NuRec,通过前馈网络将多视角驾驶日志在约 1.5 秒内重建为可仿真的高斯泼溅场景,性能优于现有基线。

  2. arXiv · 机器人与计算机视觉83

    DUNE:在不损失预测性能的前提下解耦多语义神经元

    针对深度神经网络中神经元响应多概念导致内部决策过程模糊的问题,现有稀疏自编码器等方法虽能提取单语义特征但会引入近似误差并损害下游性能。本文提出 DUNE 方法,通过将前层特定概念的贡献重路由到独立子单元且聚合时精确恢复原始激活值,实现了无误差的单语义分解。

    推荐理由:提出 DUNE 方法,在解耦神经元多语义特征的同时保持模型原有功能,推动单语义性与功能保真度的平衡。

  3. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。

  4. arXiv · 机器人与计算机视觉78

    MARS:基于单源锚点的多源视觉推理优势归一化方法

    针对多源视觉输入(如红外与深度)融合时缺乏显式机制区分信息增益或干扰的问题,论文提出 MARS 框架。该方法将单源奖励作为动态锚点,在强化学习可验证奖励(RLVR)中明确纳入多源融合带来的信息增益至优势归一化过程,自适应地强调互促并抑制噪声冲突。

    推荐理由:提出 MARS 框架,通过单源奖励锚点解决多源视觉推理中的信息增益量化与模态冲突问题。

  5. arXiv · 机器人与计算机视觉78

    AstroMemBench:具身航天体记忆系统基准

    AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。

    推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。

  6. arXiv · 机器人与计算机视觉83

    SALA:语义对齐的潜在动作实现具身基础模型的双轴扩展

    针对现有潜在动作模型仅通过视频重建导致表征按外观聚类而非动作的问题,该研究引入 SALA 方法,利用人类与机器人视频的语言描述估计语义相似度并建立跨载体对应关系。

    推荐理由:提出利用语言描述对齐人类与机器人潜在动作,无需配对数据即可统一监督信号。

  7. arXiv · 机器人与计算机视觉82

    PhysCapBench:首个跨域物理 grounded 视频描述基准发布

    PhysCapBench 是首个统一涵盖第三人称场景、第一人称操作及手持夹爪演示的物理标注基准,包含 1,500 条经人工验证的视频序列并覆盖七个物理维度。该基准显示,相比仅含元数据的描述,富含物理信息的视频语言监督可将视频重建的 LPIPS 误差降低 8.6% 至 30.9%,并在 pi0.5 策略微调任务中带来 7.5 个百分点的成功率提升。

    推荐理由:PhysCapBench 作为首个跨域物理标注基准,通过量化语言监督中的物理信息缺失,为视频重建与策略微调提供了可检验的评估标准。

  8. arXiv · 机器人与计算机视觉78

    基于描述引导与局部证据校准的 CLIP 适配用于少样本植物病害识别

    针对少样本设置下预训练视觉语言模型(如 CLIP)难以捕捉细粒度诊断信息的问题,本文提出一种描述引导的两阶段 CLIP 适配方法。该方法利用症状和对比描述丰富类语义,指导聚合与类别相关的局部图像块证据以校准全局匹配。

    推荐理由:提出描述引导的 CLIP 两阶段适配方法,通过症状与对比描述增强语义并校准局部证据,在少样本植物病害识别中实现最高平均准确率。

  9. arXiv · 机器人与计算机视觉78

    Hand in Silhouette:基于二值掩码的仿真到现实多视角手部重建

    论文介绍 Hand in Silhouette (SilHand) 框架,利用低成本获取的二值手部掩码替代 RGB 特征进行 3D 重建,以缩小合成数据与真实数据的观察差距。该方法在包含 4.68 万个抓取姿态和 6 万个自由手势的大规模合成数据集上训练,并在五个现实基准测试中将相对重建精度从 49.2% 提升至 63.4%,且对掩码噪声具有鲁棒性。

    推荐理由:该工作提出基于二值掩码的仿真到现实手重建框架,通过掩码射线证据融合缩小外观差距,在五个基准测试中相对精度提升显著。