跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

数据与合成数据的精选

11月18日周三第 1–20 条
  1. arXiv · 机器人与计算机视觉82

    VZCrash:首个大规模车载 IMU 车辆碰撞数据集发布

    论文介绍了 VZCrash,这是目前公开可用的最大规模真实车辆碰撞数据集,包含超过 31,000 个验证后的碰撞事件和 158,000 个负样本。数据来自安装在 73,010 辆不同尺寸商用车辆上的设备,在美国行驶数年间采集,每个样本包含 100 Hz 的加速度与角速度以及 1 Hz 的 GPS 速度。

    推荐理由:该数据集包含超 3.1 万起真实碰撞与 15.8 万负样本,为训练高鲁棒性碰撞检测模型提供了大规模 IMU 数据支撑。

  2. arXiv · 机器人与计算机视觉82

    HEART:基于 Kent 表示遍历的超球面对齐方法

    该论文针对文本条件扩散模型难以控制生成内容的难题,发现嵌入空间呈超球面而非欧几里得结构。作者提出 HEART 框架,直接在超球面上进行 Kent 分布感知的测地线变换,实现无需微调、反演或优化的主体替换与属性控制,且适用于多种架构。材料为 arXiv 预印本,未提及同行评审状态。

    推荐理由:提出无需微调的 HEART 框架,利用超球面几何与 Kent 分布实现扩散模型的精确编辑。

  3. arXiv · 机器人与计算机视觉82

    CaFe:一种因果忠实条件交通场景生成方法

    针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。

    推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。

  4. arXiv · 机器人与计算机视觉85

    JEPA 风格潜在世界模型的规划器 - 硬件协同设计与差分稀疏性制造

    JEPA 风格的潜在世界模型虽能支持具身智能体进行基于模型预测控制的新目标规划,但采样式 MPC 重复推断导致单次规划耗时数十秒。本文提出利用规划器自身决策特性,通过参考森林采样在候选动作序列间制造位级差分稀疏性,并设计专用加速器实现算法与硬件的紧密协同。

    推荐理由:该文提出规划器与硬件协同设计,通过制造差分位级稀疏性提升 JEPA 世界模型的推理速度并降低能耗。

  5. arXiv · 机器人与计算机视觉83

    M3OPD-Reasoner:一种基于多教师同策略蒸馏的视觉语言模型后训练开放配方

    论文提出 M3OPD-Reasoner 这一完全开放的视觉语言模型(VLM)后训练方案,涵盖图像 STEM、图像感知和视频三个推理领域。研究构建了包含 1.35M 样本的监督微调数据集和 19.3K 样本的强化学习数据集,并在去污染后的 21 个基准测试上验证了多教师同策略蒸馏(MOPD)结合组序列策略优化(GSPO)及混合强化学习的最佳组合效果。

    推荐理由:作者提出 M3OPD-Reasoner 开源配方,通过多教师同策略蒸馏与强化学习结合,在图像 STEM、感知及视频推理任务上实现性能提升。

  6. arXiv · 机器人与计算机视觉84

    无需训练的建筑变化检测方法:基于示例诱导的判别式特征

    建筑变化检测通常依赖昂贵的大规模密集标注。本文提出 Linear INduced Discriminants (LIND),一种无需训练的框架,将区域特征对比转化为可复用的线性分类器。

    推荐理由:提出无需训练的线性判别框架,利用少量标注实现跨数据集的建筑变化检测。

  7. arXiv · 机器人与计算机视觉80

    LOCUS:一种用于自回归图像生成的因果支持窗口属性控制方法

    针对统一自回归图像生成器难以同时满足多重属性约束的问题,研究提出因果支持轮廓概念,发现结构属性对早期窄窗口响应更强而外观属性对后期宽窗口更敏感。据此开发的 LOCUS 方法能诊断失败属性并路由优化至对应窗口,在冻结生成器的情况下将 Janus-Pro 的 GenEval++ 整体准确率从24.6%提升至46.8%,多属性标签任务从19.5%提升至40.5%,且修复成功率与收敛轮次均优于前缀优化。

    推荐理由:提出因果支持窗口诊断方法,在冻结生成器前提下将多属性控制准确率从24.6%提升至46.8%,显著优于前缀优化。

  8. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  9. arXiv · 机器人与计算机视觉82

    何时该放大:视觉语言模型在多像素级小物体上的表现极限及优化规则

    在线视觉语言模型常因服务端缩小或拒收大图而遗漏小细节。本研究通过 601 个真实照片中的小物体问答与印刷码眼检,量化了七款主流模型在默认设置下的细节保留能力,发现分块处理可显著提升准确率并减少拒绝,自适应缩放策略能以更低算力匹配甚至超越分块效果。作者还分析了不同模型的失败模式差异,提出了五条关于智能体何时该缩放的规则,并开源了眼检工具、所有模型回答及代码。

    推荐理由:论文量化了大尺寸图像中微小细节的丢失问题,提出分块与自适应缩放策略以恢复精度并降低拒绝率。

  10. arXiv · 机器人与计算机视觉84

    Disagree to Prune:通过小 VLM 的异议重分配视觉 Token

    论文提出了 PRUDENT 方法,用于加速大型视觉语言模型(VLM)。该方法利用一个小 VLM 对剪枝后结果的异议信号,将节省下来的计算资源重新分配给那些小 VLM 认为不可靠的问题进行二次回答。在 18 个基准测试中,PRUDENT 在相同的平均视觉 Token 预算下优于八种现有的剪枝方法,且在预算更紧张时优势更大。代码和数据已公开。

    推荐理由:提出 PRUDENT 方法,利用小 VLM 对剪枝结果的异议来重新分配视觉 Token,在多个基准上优于现有方法。

  11. arXiv · 机器人与计算机视觉82

    InertialVideo World Models:引入惯性先验的视频世界模型

    论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。

    推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。

  12. arXiv · 机器人与计算机视觉85

    SARVIA:一种快速适配合成孔径雷达基础模型的方法

    针对合成孔径雷达(SAR)基础模型依赖昂贵预训练的问题,本文提出 SARVIA 方法,利用现代多模态大语言模型(MLLMs)已有的视觉编码器作为下游初始化。该方法通过自监督视觉问答任务对 MLLM 进行自适应后预训练,仅需 600 步和 2 GPU 小时即可在六个 SAR 检测与分割基准上超越专用基础模型。研究将重点从重复的昂贵预训练转向可复用的专业化过程,并开放了数据集与代码。

    推荐理由:提出 SARVIA 方法,利用现有 MLLM 视觉编码器通过自监督微调实现合成孔径雷达任务的高效适配。

  13. arXiv · 机器人与计算机视觉82

    BATMoS:面向高效视频扩散模型的预算感知引导分配方法

    论文 BATMoS 提出一种无需额外训练路由器的引导分配方案,通过基于幅值的时间规则将新鲜引导与缓存引导结合,在 CogVideoX-2B 上以 20% 更少的分支评估达到接近全量引导的生成质量。该方法可与特征复用组合,进一步降低有效计算分支数,为视频扩散模型推理提供了实用的预算优化机制。

    推荐理由:BATMoS 提出基于时间步的引导策略复用机制,在固定推理预算下提升视频生成质量并减少计算分支评估。

  14. arXiv · 机器人与计算机视觉78

    SCAN:面向神经疾病分类的站点感知协作隐私保护视觉语言模型适配方法

    针对全球神经影像数据因隐私规则无法集中化的问题,本文提出 SCAN 框架,允许新站点在不共享患者扫描数据或重新训练的情况下,对 3D 医学视觉语言模型进行本地化适配。

    推荐理由:提出无需共享影像或重训的站点感知协作框架,在保护隐私前提下实现多中心神经影像模型适配。

  15. arXiv · 机器人与计算机视觉78

    Sketch, Don't Paint:在生成式视觉推理中动态分配测试时计算资源

    论文研究了多模态模型如何通过合成像素进行推理,发现迭代去噪主导了推理成本。研究揭示了三种思维模式:因果性思维早期即可识读且素描步数远少于渲染步数;装饰性思维可省略;有害思维会降低准确率。

    推荐理由:研究揭示生成式视觉推理中三种计算分配模式,提出无需标签的素描投票策略以显著降低推理成本。

11月17日周二
  1. 量子位77

    MatOS:面向材料研发的科研智能体系统正式开源

    北京中关村学院 AI 材料研究所发布的 MatOS 科研智能体系统正式开源。该系统将数据、知识、工具等组织为科学资产,通过有状态自适应工作流执行长周期任务,并利用证据驱动机制持续进化资产库。

    推荐理由:MatOS 系统开源,通过分层资产图与有状态工作流解决材料研发长周期任务中的工具接入、状态保持及经验复用难题。

  2. arXiv · 机器人与计算机视觉78

    Chameleon:扩散模型高效量化中的动态格式适配器

    该论文提出 Chameleon 框架,将量化格式本身作为离散变量,按权重通道和激活层动态从 INT8、FP8 等集合中选择,而非固定单一格式。在 SDXL、PixArt-$\alpha$ 等模型上,该方法在所有位宽设置下均取得最佳 FID,推理速度较 FP16 提升 1.09 倍且权重体积缩小 3 倍。材料为预印本,未提及同行评审状态或开源代码仓库。

    推荐理由:提出 Chameleon 框架,通过动态选择激活与权重的混合格式在固定位宽下实现最佳 FID 与推理速度提升。

  3. arXiv · 机器人与计算机视觉82

    PRG-Fusion:基于重建证据编排生成先验以合成驾驶视角视频

    针对驾驶场景下视图切换导致的空间退化与生成不一致问题,论文提出 PRG-Fusion 框架,利用稀疏 LiDAR 投影建立几何控制并学习稠密 3DGS 渲染的外观控制。该方法根据重建证据将像素划分为保持、修复和生成三类区域,分别执行外观保留、结构修正和内容补全,在 Waymo 数据集上实现了具有优异视觉质量与几何保真度的新轨迹视频合成。

    推荐理由:提出 PRG-Fusion 框架,利用重建证据在可靠区域保持内容、受损区域修复结构、无支撑区域生成新视图,实现高几何保真度的驾驶轨迹视频合成。

  4. arXiv · 机器人与计算机视觉78

    UnderOneFacade:全球最大的跨大陆 3D 建筑立面语义分割基准数据集发布

    作者发布了 UnderOneFacade,这是迄今为止最大的跨国界和跨大陆的 3D 建筑立面基准数据集,包含总计 27 亿个标注点的厘米级精度点云及层级化、标准化的语义标签。

    推荐理由:该数据集提供全球跨域、厘米级精度的建筑立面分割基准,揭示了现有模型在细粒度识别与泛化上的瓶颈。

  5. arXiv · 机器人与计算机视觉78

    Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models

    该论文提出了针对预训练视觉模型的闭式线性探测数据集蒸馏方法 CLP-DD。该方法利用冻结特征的闭式解替代迭代更新,在 ImageNet 基准上相比 LGM 大幅降低计算与显存成本,同时保持或超越性能。代码已开源。

    推荐理由:提出 Closed-Form Linear-Probe Dataset Distillation,利用预训练特征闭式解显著降低计算与显存开销。