跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 11 页

11月2日周一第 201–220 条
  1. arXiv · 机器人与计算机视觉82

    ReuScope:Capsule Vision 2024 的数据复用与评估敏感性审计报告

    论文提出 ReuScope 审计协议,以 Capsule Vision 2024 为例量化数据跨划分重叠及评估敏感性。研究发现移除 Kvasir-Capsule 相关训练样本后公开验证集准确率显著下降,且匹配对照实验排除了样本量与类别分布的干扰。该工作已被 NeurIPS 2026 接收,代码与数据已开源。

    推荐理由:提出 ReuScope 审计协议,量化 Capsule Vision 2024 数据集的跨划分重叠与评估敏感性,为计算机视觉领域的公平性与可靠性提供可复用的验证方法。

  2. arXiv · 机器人与计算机视觉82

    MoETok:一种用于 1D 视觉 Tokenizer 的稀疏专家路由方法

    论文提出 MoETok,这是一种针对 1D 视觉 Tokenizer 的稀疏专家路由方法。研究揭示查询在语义监督下自发分化为 Content(内容)和 Detail(细节)两类角色,路由器据此学习适应不同 token 表示的特化处理路径。

    推荐理由:该工作揭示了查询在语义监督下自发分化为内容与细节两类角色,并提出稀疏专家路由机制以提升重建与生成性能。

  3. arXiv · 机器人与计算机视觉78

    Different Models, Shared Failures: Auditing Frozen-Encoder Pools for Medical Segmentation

    该研究提出了 CoFailMed 框架,对五个二维医学图像分割任务中的 11 个预训练编码器进行了失效相关性审计。研究发现,即使模型平均精度和数量不同,它们仍可能在相同案例上共同失效;共享检查点的模型对 Dice 相关性最高,而跨家族编码器的依赖关系甚至可能随微调增强。研究提供了对齐的案例轨迹、分析脚本及代码以复现审计结果,并建议评估报告应包含绝对依赖度和阈值特定的有效池大小。

    推荐理由:本文通过审计预训练编码器池,揭示了不同模型在医疗分割任务中存在共享失效模式的现象。

  4. arXiv · 机器人与计算机视觉78

    病理图像分割的因果依赖评分:一种基于受控干预的评估框架

    针对病理图像分割中模型过度依赖背景虚假相关的问题,本文提出了一种基于受控干预的因果依赖评分(CRS)指标。该方法通过设计作为隐式反事实干预的数据增强策略,量化模型预测对前景组织扰动与背景/域变化的相对敏感度。研究证明该框架能揭示标准 Dice 或 IoU 指标无法捕捉的行为差异,旨在为开发临床鲁棒的医学图像分割系统提供审计工具。

    推荐理由:提出因果依赖评分指标,通过受控干预评估病理图像分割模型对前景与背景的敏感度差异。

  5. arXiv · 机器人与计算机视觉78

    GRIT:文本丰富推理中针对视觉误读 token 的梯度掩码方法

    论文指出强化学习可验证奖励(RLVR)在文本丰富推理任务中存在正确但视觉误读(CVMR)现象,导致模型虽得正确答案却未真正理解图像。作者提出 GRIT 框架,利用 token 级注意力模式差异对视觉误读进行梯度掩码,提升推理准确性与 grounding 保真度。

    推荐理由:提出 GRIT 框架将视觉 grounding 引入 RLVR,缓解中间步骤误读问题,并配套发布 GRIT-Bench 评测基准。

  6. arXiv · 机器人与计算机视觉78

    VoxLution:一种用于高保真室内场景生成的体素进化方法

    该论文介绍 VoxLution,这是一种基于粗到细(coarse-to-fine)的 Transformer 架构,旨在解决现有生成模型几何过于平滑的问题。该方法将高分辨率体素超分辨率建模为多分辨率稀疏体素网格上的序列问题,通过无训练、与分辨率无关的标记化方案编码八分体信息,并利用相邻块边界信息确保局部生成的连贯性。

    推荐理由:提出基于粗到细的 Transformer 方法,在标准基准上显著降低几何模糊度与生成差异。

  7. arXiv · 机器人与计算机视觉78

    GenDSR:从视频生成模型转移表征以进行动态空间推理

    GenDSR 是一个框架,它将视频生成模型(VGM)的中间表征转移给视觉语言模型(VLM),用于解决 VLM 在保持场景状态的同时追踪空间关系演变的挑战。该框架构建了两个互补分支:一个保留整体生成上下文的原始分支和一个强调时间变化的增量分支,并通过任务条件化的逐 token 门控融合信号并注入原生视觉表征。

    推荐理由:该工作提出将视频生成模型的中间表征迁移至视觉语言模型,在动态空间推理基准上取得新最优结果。

  8. arXiv · 机器人与计算机视觉78

    超越 CLIP:利用系统一决策模型进行校准后的(少样本)缺陷检测

    针对制造环境中收集大量缺陷图像困难的痛点,本文提出基于 Jev 和 Clef-Flash 两种结构化决策模型的框架,仅需每类两张参考图即可实现图像分类与检测。研究通过智能体自动优化引导文本描述,并将缺陷概率校准以提高可靠性。

    推荐理由:提出基于 Jev 和 Clef-Flash 的少样本缺陷检测框架,仅需每类两张参考图即可超越 CLIP,并提供校准方法与开源代码。

  9. arXiv · 机器人与计算机视觉82

    MotorSense:首个大规模配对视频与肌电信号的动作理解数据集

    针对计算机视觉模型仅依赖视觉后果而缺乏本体运动信号的问题,该工作提出了 MotorSense,这是首个大规模的双手肌电(EMG)与第一人称视频配对数据集。数据包含 100 小时无脚本操作中的同步视频、双手 EMG、IMU 及音频。

    推荐理由:该工作提出首个大规模配对视频与肌电信号数据集,通过跨模态预训练实现视听对齐,在动作识别等任务上超越传统自监督方法。

  10. arXiv · 机器人与计算机视觉78

    单标注多假设分割:基于语义 - 空间残差银行的方法

    针对单图像仅含一个标注却需覆盖多种有效掩码的挑战,研究提出语义 - 空间残差银行方法。该方法冻结经平衡分配训练的语义特征以保留结构分组,同时学习图像残差以捕捉局部边界与范围变化。在五个医学终点及 BSDS 数据集上验证了其在保持区域分组的同时提升对未见过标注的覆盖能力,并产生更多有用的独立掩码。

    推荐理由:提出语义 - 空间残差银行方法,在单标注约束下提升多假设分割的覆盖度与结构保持能力。

  11. arXiv · 机器人与计算机视觉78

    让激光雷达决定看向何处:用于高效稀疏潜在世界模型的几何测量 Token 选择

    针对以视觉为中心的自动驾驶模型冗余编码天空、建筑等无关内容的痛点,提出 Geometry-Aware Token Selection (GATS) 方法。该方法利用 LiDAR 和雷达点投影在视觉骨干网络运行前筛选关键图像区域,使端到端计算量最高降低 18 倍。

    推荐理由:提出基于 LiDAR 几何的 Token 选择方法,在大幅降低计算量的同时提升规划相关场景的预测精度与安全性。

  12. arXiv · 机器人与计算机视觉78

    FlapSim:一种可组合的 MuJoCo 扑翼仿真平台及降阶气动模型层级

    该论文提出了 FlapSim,一个模块化的开源 MuJoCo 仿真平台,用于解决扑翼飞行中高频气动动力学与低频飞行控制/强化学习动态之间的协调问题。研究在 48 个涵盖频率、舵机、风场等场景的独立测试集中,对比了五种降阶配置,发现结合多速率时钟同步、三维流入耦合及相位锁定谐波合成的五块模型架构,在保持 65.19 倍 CPU 加速的同时将平均力矩保真度提升至 0.9646。

    推荐理由:该工作提出了 FlapSim 模块化开源平台,在 MuJoCo 框架下实现了高频扑翼气动与飞行控制的确定性模拟,并量化了不同简化模型在精度与速度间的权衡。

11月1日周日
10月30日周五
  1. arXiv · 机器人与计算机视觉82

    Gen-Searcher:首个搜索增强的图像生成智能体

    针对现有图像生成模型缺乏实时知识与多跳推理能力的局限,本文首次训练了具备搜索能力的图像生成智能体 Gen-Searcher。研究构建了专用数据管道与两个高质量数据集(Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k),并引入 KnowGen 基准以评测搜索 grounded 的外部知识能力。

    推荐理由:作者提出首个搜索增强型图像生成智能体,开源数据集与基准评测,为知识密集型场景提供新方案。

  2. arXiv · 机器人与计算机视觉78

    联邦训练是否降低可解释性?集中式与联邦式深度伪造检测的 Grad-CAM 忠实度对比分析

    该论文系统研究了联邦学习对深度伪造检测模型解释性的影响。研究在 FaceForensics++ 数据集上评估 EfficientNet-B4 检测器,发现联邦模型的解释质量与数据异质性呈非单调关系:在接近独立同分布及中等异质条件下,联邦模型的解释忠实度不低于集中式基线;但在极端异质性下,解释完全失效且因果误导。研究提供了识别安全部署边界的实用指导,并开放了代码与数据分区以供复现。

    推荐理由:研究揭示联邦学习在深度伪造检测中解释性随数据异质性呈现非单调变化,极端异质下梯度解释失效。

  3. arXiv · 机器人与计算机视觉78

    用 JEPAs 证明并改进柏拉图表示假设

    Randall Balestriero 和 Yann LeCun 提出柏拉图表示定理,证明联合嵌入预测架构(JEPAs)在良视条件下学习到的表示收敛于同一空间。

    推荐理由:该工作将多模态对齐猜想转化为定理,证明 JEPAs 在良视条件下收敛于同一表示,并揭示语言模型仅靠规模对齐的机制。

  4. arXiv · 机器人与计算机视觉78

    一种评估多输出结构化预测指标的新方法:基于任务不变性的框架

    该论文针对多输出结构化预测中仅有一个真值标签但存在多个有效输出的评估难题,提出利用人类隐含使用的任务特定不变性(如图像边界或命名实体)作为诊断工具。研究通过引入增强损失函数鼓励模型输出符合这些不变性,实验表明这能显著提升分布型指标的可靠性,而传统指标变化不大。

    推荐理由:该文提出利用任务特定不变性评估多输出结构化预测指标,发现增强损失可显著提升分布型指标可靠性。

  5. arXiv · 机器人与计算机视觉78

    RoboAtom:大规模原子动作监督用于机器人学习

    针对现有机器人数据集缺乏细粒度子任务标注且格式不统一的问题,该工作提出 RoboAtom-Data,为多源数据添加统一的、时间对齐的原子动作标注,涵盖 145 万条轨迹和 688 万个技能标记片段。

    推荐理由:该工作提出 RoboAtom-Data,为多源机器人数据提供统一原子动作标注与基准,并证明其能提升技能识别精度及分层执行的任务成功率。

  6. arXiv · 机器人与计算机视觉78

    SelfThinker:基于可靠性验证的内生视觉思维的自我进化推理

    SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。

    推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。

  7. arXiv · 机器人与计算机视觉78

    Don't Risk It!: Trajectory-Conditioned Distributional Risk for LiDAR-Only Crowd Navigation

    arXiv 论文提出 Don't Risk It Planner (DRIP),这是一个端到端的仅 LiDAR 规划框架,将占用预测与轨迹条件清除及不确定性估计相结合。

    推荐理由:提出仅用 LiDAR 的 DRIP 规划器,通过轨迹条件分布风险评估碰撞概率,在密集人群导航中相比基线减少冻结并提升成功率。