跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 15 页

10月26日周一第 281–300 条
  1. arXiv · 机器人与计算机视觉78

    VERA-Hand:面向第三人称动态手势视频的 2D 手姿态估计多维验证基准

    VERA-Hand 是一个针对 2D 手姿态估计的多维验证基准,包含对 10,690 个手部实例的人工验证标注。该基准从检测、定位、识别及时序稳定性四个维度评估模型,并引入联合 Pose-F1 指标要求同时满足正确检测与精准定位。

    推荐理由:该基准通过人工验证标注和多维指标,揭示了现有手姿态估计器在漏检、身份混淆及时序稳定性上的局限。

  2. arXiv · 机器人与计算机视觉76

    PCFBench:大视觉语言模型在光子感知逆设计中的极限评估

    该研究引入 PCFBench,这是首个用于评估大视觉语言模型(VLM)在光子晶体光纤(PCF)逆设计任务中感知、推理与决策能力的综合基准。数据集包含超过 220K 个 FDTD 仿真样本,涵盖 18 种结构多样的光纤家族,并组织了从几何感知到代码生成的六类共 26 项任务。

    推荐理由:PCFBench 建立了首个涵盖感知、推理与决策的光子逆设计基准,揭示了当前 VLM 在将视觉理解转化为物理设计动作时的显著差距。

  3. arXiv · 机器人与计算机视觉78

    UniWorld:一种用于实时视觉世界仿真的统一世界模型

    该论文提出了 UniWorld 框架,旨在解决连续视觉世界仿真中场景几何演化与持久化外观的耦合问题。该方法在共享视频生成模型中整合深度轨迹和参考外观,通过噪声对齐的重叠延续机制保持视觉历史,并利用滚动深度潜在状态保留几何控制。

    推荐理由:UniWorld 框架在共享视频生成模型中耦合几何与外观历史,实现了实时连续视觉仿真。

  4. arXiv · 机器人与计算机视觉82

    分离双曲视觉语言模型中的角度对齐与径向排序

    该论文介绍 AURORA 框架,旨在解决现有双曲视觉语言预训练目标中语义对齐与层级结构纠缠的问题。作者提出通过角度对齐捕获语义相似性,并利用新的径向 - 角度顺序锥(RAOC)进行蕴含建模,同时引入范数正则化防止径向退化。模型在数百万图像文本对上训练,并在零样本分类、图文检索等任务上优于欧氏和双曲基线。材料为 arXiv 预印本,未提及同行评审状态或开源代码。

    推荐理由:提出 AURORA 框架,通过解耦语义对齐与层级蕴含建模解决双曲空间表示冲突。

  5. arXiv · 机器人与计算机视觉78

    RVL-CDIP 数据质量审计:发现标签错误与测试集污染并发布修正语料

    RVL-CDIP 作为文档分类事实标准基准,其报告准确率已达 98.8%。本研究对其进行系统性审计,发现约 10.5% 的 40 万份文档存在错误标签,35.2% 的测试集样本在训练集中有重复或近似副本。

    推荐理由:该研究对 RVL-CDIP 基准进行系统性审计,发现标签错误、测试集污染及敏感数据问题并公开修正版。

  6. arXiv · 机器人与计算机视觉78

    WorldMirror:基于野外机器人演示的交互式世界代理式实到仿真生成

    针对机器人学习仿真中场景构建繁琐的问题,该研究提出了 WorldMirror 框架,将实到仿真(real-to-sim)构建定义为可执行世界程序的迭代优化过程。通过智能体分解观测场景、规划重建步骤并编排图像与三维生成工具,结合相机位姿锚定的场景表示来诊断和修正错误,从而从野外机器人演示中生成视觉保真且几何一致的交互式数字孪生,同时保持记录轨迹的物理有效性。

    推荐理由:提出将实到仿真构建视为可执行程序的迭代优化,利用智能体编排工具生成物理一致的数字孪生。

  7. Hugging Face Daily Papers78

    PhysEvolve:基于验证器的可执行世界因果推理自进化框架

    针对视觉语言模型在动力学与物理因果关系上不可靠的问题,本文提出了 PhysEvolve 框架。该框架通过共享的 VLM 提出可执行的物理世界程序,利用确定性物理引擎冻结并模拟基线及反事实分支(如物体移除、目标坑洞),合成离散任务并通过精确验证反馈更新策略与课程。

    推荐理由:该工作提出基于验证器的自进化框架,利用确定性物理引擎生成反事实数据以训练视觉语言模型进行因果推理。

10月24日周六
  1. Hugging Face Daily Papers83

    EnvLunch:将环境作为交互学习的免费午餐

    针对智能体数据分析需大量标注任务的痛点,该方法提出 EnvLunch 阶段,利用可执行环境的丰富交互结构生成无标注任务,让模型仅凭最终观测恢复等效轨迹。实验显示,该预热策略使模型在各类下游训练预算下平均超越基线超 9 个点,且仅需少量标签即可达到基线需 8 至 32 倍数据量的准确率。

    推荐理由:该预印本提出利用可执行环境本身作为无标注任务来源,在下游强化学习前进行免标签预热训练,显著降低对人工标注数据的依赖。

10月23日周五
  1. 智元 AGIBOT · Newsroom87

    智元开源 AGIBOT WORLD Release 4:面向物理推理的数据集

    智元宣布开源 AGIBOT WORLD 2026 的第四版发布内容“物理推理”数据集,将任务设计重心从操作难度转向决策复杂度。该数据集覆盖具身智能五大研究方向,包含超 10 类逻辑推理场景,记录同一目标在不同状态与约束下的决策与执行过程。通过连接高层指令、子任务分段、动作步骤及空间标注,支持决策模型与底层策略的协同训练,旨在帮助机器人从孤立操作迈向自主完成复杂现实任务。

    推荐理由:智元开源 AGIBOT WORLD Release 4,提供涵盖多状态约束的物理推理数据集与细粒度标注,支持决策 - 执行联合训练。

  2. arXiv · 机器人与计算机视觉78

    如何在不遗忘旧能力的前提下为大多模态模型教授新技能

    论文研究如何在向大语言视觉模型(LMMs)教授新技能时避免遗忘先前的通用能力。实验发现,仅更新自注意力投影层或 MLP 门控与上采样层的微调策略,在保持学习能力的同时大幅减少了遗忘现象,性能优于全量微调及多种现有缓解方法。该结论在 LLaVA-OneVision、LLaVA-NeXT 和 Qwen2.5-VL 等多个模型系列上得到验证。代码将公开。

    推荐理由:研究发现仅更新自注意力投影层或 MLP 门控即可在提升新技能学习能力的同时显著抑制遗忘,且无需回放或辅助参数。

  3. arXiv · 机器人与计算机视觉82

    FluxVLA Engine:面向具身智能的一站式 VLA 工程平台发布

    FluxVLA Engine 是一个开源的配置驱动型工程平台,旨在将异构的具身策略组件转化为可复现的数据至部署工作流。该平台标准化了数据集、视觉语言与世界模型接口,集成了双臂仿真、自动数据生成及人机协同修正功能,并通过实时分块与加速推理后端支持物理执行。代码已公开于 arXiv 链接,解决了阻碍具身学习算法可靠部署的工程瓶颈。

    推荐理由:FluxVLA Engine 提供统一配置驱动平台,整合仿真、数据生成与实时推理接口,解决具身策略从算法到部署的工程碎片化问题。

  4. arXiv · 机器人与计算机视觉78

    BRIDGE:用于粗粒度掩码局部编辑的背景路由与隔离离散门控

    本文介绍 BRIDGE 方法,通过双路径架构和可学习二值门控,将主体位置嵌入路由至以主体为中心或以背景为锚点的坐标,解决现有掩码编辑器纠缠目标的问题。

    推荐理由:提出双路径架构与离散门控机制,在保持背景的同时提升局部编辑精度。

  5. arXiv · 机器人与计算机视觉85

    无人类演示的跨城市自动驾驶策略学习:NOMAD 方法

    论文针对自动驾驶在新城市部署成本高、需大量人类演示数据的瓶颈,提出 NOMAD(No data Map-based self-play for Autonomous Driving)方法。

    推荐理由:提出 NOMAD 方法,利用自博弈强化学习仅凭地图信息实现跨城市策略迁移,无需目标城市的人类演示数据。

  6. arXiv · 机器人与计算机视觉82

    UniVOE:一种面向交互感知的通用视频对象编辑的移除驱动框架

    该论文提出了 UniVOE 框架,旨在统一训练视频对象移除和注入模型。方法首先利用视频修复先验训练一个感知效果的移除器,将含物视频转换为无物版本以构建大规模配对监督数据;随后在反向方向上训练注入模型以恢复物体及其动态与交互效果;最后引入基于奖励的后训练方法对齐人类偏好。实验表明该框架在对象移除和注入任务上均达到最先进水平,尤其在处理复杂的交互效应方面表现突出。

    推荐理由:提出以移除驱动的统一框架,利用视频修复先验解决注入任务的大规模配对监督难题,在交互效应场景下达到开源与商业系统领先水平。

  7. arXiv · 机器人与计算机视觉80

    WorldForge V2:激发视频扩散模型中的相机 - 轨迹对齐

    论文提出了 WorldForge V2 方法,旨在解决视频扩散模型在空间任务中相机控制不精确及时空不一致的问题。该方法采用无需训练的引导框架,利用 warped references 迭代优化生成过程,并通过光流分析分离运动控制与外观特征。

    推荐理由:提出无需训练的引导框架与轨迹 LoRA,在视频扩散模型中实现精确相机控制并保留生成能力。

  8. arXiv · 机器人与计算机视觉78

    FilmFlow:用于三维虚拟电影摄影的智能体系统

    论文介绍 FilmFlow,这是一个将自然语言指令或参考视频转换为动态三维环境中明确相机轨迹的智能体框架。系统由导演智能体主导,协同解释器、侦察员和评论家三个专用智能体,通过组合原子操作控制平移、旋转和构图。

    推荐理由:该工作提出 FilmFlow 智能体框架,将自然语言或参考视频转化为可执行的三维相机轨迹,并在 CinemaBench 基准上表现最优。

  9. arXiv · 机器人与计算机视觉78

    ParaLin++:通过内在部分线性结构加速并行扩散积分器

    该论文提出 ParaLin++,这是一种步数平行的采样器,旨在保留全步离散化同时加速求解器迭代。研究指出,传统免训练少步采样方法在语义组合、密集指令和长文本渲染基准上存在质量下降风险,而平行采样是例外。

    推荐理由:该工作提出 ParaLin++,在保留全步离散化同时加速求解器迭代,实验显示其在 Stable Diffusion-v2 等模型上可将采样速度提升 1.68 至 4.8 倍且保持质量。

  10. arXiv · 机器人与计算机视觉85

    LoRA 在预训练模型间的叠加:一种无需路由的跨模型微调方法

    该研究提出将针对同一任务在不同预训练骨干上独立训练的 LoRA 直接求和并应用于所有贡献骨干的方法,称为 LoRA 叠加。实验显示,该方法在七个 ViT-B/16 CLIP 骨干和八个图像分类任务上的全部 56 对组合中均提升性能,平均准确率增益达 30.21 个百分点,仅比单独训练低 0.28 个百分点。

    推荐理由:论文验证了不同预训练骨干上的独立 LoRA 可直接叠加且互不干扰,为跨模型微调提供了无需路由的组件化方法。

  11. arXiv · 机器人与计算机视觉78

    AgentDreamer:面向文本可控物理仿真的代理式三维运动推理

    论文提出了 AgentDreamer,这是一个由智能体引导的优化框架,旨在通过显式的三维运动规划将文本指令与仿真运动对齐。给定文本指令和场景几何,现成的智能体将其转化为结构化语义运动先验(指定移动对象、方向及时间顺序),并用参数化函数表示以生成密集三维轨迹。

    推荐理由:提出 AgentDreamer 框架,利用智能体生成语义运动先验并优化可微 MPM 模拟器以对齐文本指令与物理可行运动。

  12. arXiv · 机器人与计算机视觉87

    SplatLab:面向 3DGS 研究的自主科学发现系统

    SplatLab 是一个针对 3D Gaussian Splatting 领域的自主研究系统,解决了现有系统在模板限制和可执行性上的不足。该系统能根据提示或论文链接复现基线、提出扩展方案并在 Mip-NeRF 360 等数据集上训练消融实验,同时将手稿中的每个数据点绑定到具体的日志运行记录。

    推荐理由:该系统实现了端到端的自主科研闭环,能复现基线、提出扩展并绑定实验数据生成手稿。