跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 13 页

10月28日周三第 241–260 条
  1. arXiv · 机器人与计算机视觉78

    Learning to Read Braille:盲文识别评测与改进

    针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。

    推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。

  2. 上海人工智能实验室 · 科研动态68

    上海人工智能实验室推出 MatVerse 材料多模态大模型

    上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。

    推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。

10月27日周二
  1. 上海人工智能实验室 · 科研动态75

    上海AI实验室推出通专融合智能体书生-A1.5

    上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。

    推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。

  2. arXiv · 机器人与计算机视觉82

    FermatSyn:基于 SAM2 增强的各向同性螺旋扫描多模态医学图像合成方法

    论文提出 FermatSyn,通过冻结的 SAM2 Vision Transformer 注入解剖学先验,结合分层残差下采样模块与跨尺度融合网络保留高频病变细节。

    推荐理由:提出 FermatSyn,利用 SAM2 先验与双向 Mamba 架构解决多模态医学图像合成中的全局一致性与局部细节冲突问题。

  3. arXiv · 机器人与计算机视觉82

    通过双头优化从视觉语言模型进行简单有效的半监督知识蒸馏

    针对半监督学习中利用视觉语言模型(VLM)能力时面临的监督与蒸馏损失梯度冲突问题,本文提出双头优化(DHO)方法,为不同信号引入独立预测头以缓解冲突。实验在 15 个数据集上验证了该方法能提升特征学习效果,使小模型学生网络超越教师模型表现,并在 ImageNet 半监督学习与分布外泛化任务中达到新状态最优。代码与检查点已公开。

    推荐理由:提出双头优化方法解决监督与蒸馏损失间的梯度冲突,在多个数据集上超越单头基线并实现小模型优于教师模型的效果。

  4. arXiv · 机器人与计算机视觉82

    Oracle 剪枝是否仍是真正的‘神谕’?对深度神经网络剪枝基础的系统性检验

    该研究首次系统性地检验了基于最小化剪枝损失来选择非重要权重的 Oracle 剪枝方法的有效性。通过对 LeNet5、ViT 等模型在 MNIST、ImageNet-1K 等数据集上的大规模实验(涉及约 3.7 万个模型),研究发现对于非平凡规模的深度学习模型,重训前的性能与重训后的性能几乎不相关。

    推荐理由:论文通过大规模实验发现预训练性能与重训后性能相关性极低,质疑了传统剪枝方法的理论前提。

  5. arXiv · 机器人与计算机视觉78

    FOCUS:从基础视觉编码器到多模态大模型的视网膜模型泛化性评测基准

    FOCUS(Foundation Ophthalmic Cross-Dataset Understanding under Shift)是一个跨数据集评测基准,旨在解决单一数据集报告无法反映模型在数据分布偏移、临床定义差异及患者亚组间表现的问题。

    推荐理由:FOCUS 基准统一评估了十种数据集上从纯视觉编码器到多模态大模型在视网膜影像分析中的泛化能力与校准表现。

  6. arXiv · 机器人与计算机视觉82

    Crazyflow:一款准确、GPU 加速且可微分的无人机仿真器开源发布

    Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。

    推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。

  7. arXiv · 机器人与计算机视觉82

    RoboEvolve:基于有限数据的机器人操作规划器 - 模拟器协同进化框架

    该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。

    推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。

  8. arXiv · 机器人与计算机视觉78

    当造假者成为法官:GPT-Image-2 无法识别其自造的假文件

    论文指出 OpenAI 的 GPT-Image-2 已模糊真实与 AI 编辑文档的视觉边界,作者发布包含 3066 张伪造收据及像素级掩码的 AIForge-Doc v2 数据集。

    推荐理由:作者发布 GPT-Image-2 伪造文档数据集并评测四路检测器,发现人类与模型自身均难以识别其生成的伪影。

  9. arXiv · 机器人与计算机视觉78

    Good Scores, Bad Data: 一种用于评估多模态一致性的新指标

    该论文介绍 Multimodal Coherence Score (MCS),一种不依赖下游任务准确率的评估指标,将一致性分解为身份、空间、语义和决策四个维度。研究在 Visual Genome 和 COCO 数据集上验证,证明 MCS 比单一任务准确率对数据质量问题更敏感,且各维度响应独立无串扰。

    推荐理由:提出一种无需下游模型即可评估多模态融合质量的指标,能独立识别身份、空间、语义及决策维度的不一致。

  10. arXiv · 机器人与计算机视觉78

    Guardian:利用视觉语言模型检测机器人规划与执行错误

    针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。

    推荐理由:提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。

  11. arXiv · 机器人与计算机视觉78

    DeCLIP:一种增强开放词汇稠密感知的通用解耦学习框架

    针对 Vision-Language Models 在稠密视觉感知任务中因局部特征表示受限导致性能不佳的问题,本文提出 DeCLIP 框架。该框架通过解耦 CLIP 的自注意力模块分别获取内容与上下文特征:利用扩散模型的对象完整性线索与基础模型的语义相关性增强上下文特征以改善空间一致性;同时结合图像裁剪表示与区域相关性约束内容特征以提升局部判别力。

    推荐理由:提出 DeCLIP 框架,通过解耦自注意力模块并融合扩散模型与基础模型特征,提升 CLIP 在开放词汇稠密感知任务中的局部判别力与空间一致性。

  12. arXiv · 机器人与计算机视觉78

    GaussianSpline:用于高度动态 4D 高斯泼溅的自适应贝塞尔样条

    arXiv 论文介绍 GaussianSpline,一种利用自适应非均匀分段三次贝塞尔样条建模每个高斯运动的方法。该方法联合学习控制点与时间分区,在保持近静态区域轨迹紧凑的同时为高度动态区域分配更多时间容量,并通过反射约束确保段间 G1 连续性以维持全局平滑与可微性。实验表明其在 Neural 3D Video、Google Immersive 及合成场景上显著提升了非均匀动态下的重建质量。

    推荐理由:提出自适应非均匀贝塞尔样条方法,在动态场景下提升高斯泼溅重建质量。

  13. arXiv · 机器人与计算机视觉78

    视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

    针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

    推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。

  14. arXiv · 机器人与计算机视觉76

    基于等距质心的稳定降维方法 ICE

    针对现有监督降维方法未显式约束类几何结构导致结果不可复用的问题,本文提出 Isometric Centroid-Encoder (ICE) 框架。该方法在潜在空间直接学习类质心并保留预设的成对类质心几何关系,无需大量样本对或三元组约束即可保持类间几何结构。

    推荐理由:提出一种在潜在空间直接学习类质心并保留成对几何结构的监督降维框架,引入 CNS 指标量化嵌入可复现性。

  15. arXiv · 机器人与计算机视觉85

    Iris:一种支持图像、文本或混合候选人的视觉决策框架

    该论文提出 Iris 框架,解决多模态设置下模型处理离散视觉候选人的问题。研究证明在 Iris 架构下可实现严格的顺序不变性和精确缓存复用,并在 MetaEncoder 基准上超越更大参数量的基线。此外,通过重构 Qwen3.5 的 patch-embedding 卷积层为矩阵乘积形式,将 Ampere GPU 上的处理速度提升了 350 倍。代码、数据和检查点已开源。

    推荐理由:Iris 框架在保持候选顺序不变性的同时实现缓存复用,显著降低多模态决策延迟,并解决了 Ampere GPU 上的系统瓶颈。

  16. arXiv · 机器人与计算机视觉78

    Replicate What Varies:面向域随机化具身仿真的资源共享系统 Patchwork

    论文提出 Patchwork 系统,旨在解决并发运行多个具身仿真环境时因独立构建场景而导致的 CPU 和 GPU 内存占用过高问题。该系统基于 E=T+Δ表示法,将共享模板(包含公共资源)与补丁(记录目标环境的变异)分离,在 robosuite 和 MuJoCo 框架上实现了资源共享运行时。

    推荐理由:提出 Patchwork 系统,通过模板与补丁分离机制共享资源,在 robosuite 和 MuJoCo 上实现多实例 CPU 内存占用降低 88-92%。

  17. arXiv · 机器人与计算机视觉82

    OSWAM:一种具备一步动作生成的有效世界动作模型

    arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。

    推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。

  18. arXiv · 机器人与计算机视觉78

    SeeRF:通过生成式图像配准与融合实现超越视场的感知

    针对多模态传感器成像视角差异和视场失配导致的信息整合局限,论文提出了 SeeRF 框架。该方法结合微分不变速度场的形变生成策略、视觉基础模型引导的特征提取以及由粗到细的渐进式多模态图像配准模块,实现精确的跨模态流估计并生成有效视场掩码。

    推荐理由:提出 SeeRF 框架,利用生成式扩散模型解决多模态传感器视场不匹配与融合伪影问题。