跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 6 页

11月10日周二第 101–120 条
  1. arXiv · 机器人与计算机视觉78

    不确定而非隐瞒:对视觉语言模型顺从行为的机制重估

    该研究针对医疗检索增强生成中视觉语言模型(VLMs)面对 X 光片与报告冲突时的行为提出质疑。通过表征探测、激活引导和双向强制选择等诊断方法,在四个指令微调 VLM 上验证了矛盾回避现象。

    推荐理由:研究证实 VLMs 在医疗场景下因不确定性而非隐瞒回避矛盾,为安全部署提供新诊断视角。

  2. arXiv · 机器人与计算机视觉78

    ATLAS:一种多程序基准与手术解剖分割的上下文感知模型

    针对微创手术中解剖结构识别受限于小样本数据集和自然场景方法的痛点,该工作发布了包含 121,018 个标注帧的手术视频语义分割数据集 ATLAS-120k。同时提出了 ATLAS 模型,利用域内基础模型嵌入并引入程序与手术阶段的上下文查询及帧间传播机制。

    推荐理由:该工作发布了包含 12 万帧的手术解剖数据集 ATLAS-120k 及上下文感知模型 ATLAS,在分割精度与时序一致性上超越现有基线。

11月9日周一
  1. arXiv · 机器人与计算机视觉81

    FlowSim:免渲染的端到端驾驶系统闭环仿真方法

    针对传统闭环评估依赖图像生成与感知重编码导致成本高且存在仿真实隙的问题,本文提出 FlowSim 这一免渲染仿真范式。该方法直接从上一帧潜在表示和目标帧符号场景条件预测内部潜在表示,绕过图像渲染和感知重编码步骤。

    推荐理由:提出免渲染的闭环仿真范式 FlowSim,直接预测潜在表示以加速端到端系统评估。

  2. arXiv · 机器人与计算机视觉78

    LPM:面向复杂降质的工业级生成式视频修复框架

    论文提出了 Large Processing Model (LPM),这是一个基于扩散模型的生成式框架,旨在解决用户生成内容中复杂的真实世界退化问题。该系统通过大规模数据工程、基础模型训练和高效推理的统一架构,实现了任意长视频的逼真且时间一致的修复。

    推荐理由:该工作提出首个工业级生成式视频修复模型,在快手生产环境处理约45%观看时长并降低20%码率。

  3. arXiv · 机器人与计算机视觉78

    超越分割:为 ImageCAS 数据集增加窦口地标、根植中心线图及开放权重定位模型

    该研究针对现有公开冠状动脉窦口标注缺失或仅隐含的问题,为最大的公共冠状动脉分割数据集 ImageCAS(涵盖1000名患者)补充了精确的窦口标注与基于这些新地标生成的中心线图。

    推荐理由:该工作为最大的冠状动脉分割数据集 ImageCAS 补充了窦口标注与根植中心线图,并验证了开放权重模型在定位任务上的性能。

  4. arXiv · 机器人与计算机视觉82

    仅需少量梯度符号:视觉语言模型的少样本适应方法

    论文指出视觉语言模型少样本适应时梯度估计存在严重校准偏差,但小幅度梯度的符号仍具信息量。为此提出 SignSparseSGD 和 DynSignSparseSGD 两种无需维护状态、仅利用梯度符号的优化器。

    推荐理由:针对少样本适应中梯度估计噪声大的问题,提出无需维护状态且仅利用梯度符号的优化器,在多项基准上表现优异。

  5. arXiv · 机器人与计算机视觉83

    AR-Edit:无需反演的免训练自回归视频编辑方法

    该论文提出 AR-Edit 方法,通过分析 DMD 蒸馏的自回归视频扩散模型的自注意力动态,发现查询键稳定而值特征编码演化内容的不对称性。该方法仅需单次前向传播即可捕获源身份并缓存值特征,在去噪过程中选择性注入,从而在不依赖反演的情况下实现高保真流式视频编辑。

    推荐理由:提出无需训练与反演的视频编辑方法,利用自注意力机制特性实现流式实时编辑。

  6. arXiv · 机器人与计算机视觉76

    MESAM:通过语义 - 视觉记忆生成增强 SAM2 的少样本分割能力

    论文 MESAM 旨在利用 Segment Anything Model 2 (SAM2) 解决少样本分割任务中支持集与查询图像外观差异大的挑战。研究提出 Memory-Enhanced SAM2 方法,首先引入语义 - 视觉记忆生成模块构建查询语义、前景视觉及支持自适应记忆,随后通过交互式语义记忆细化模块补充细粒度细节并抑制背景误激活。

    推荐理由:针对 SAM2 在少样本分割中因外观差异导致记忆匹配失效的问题,提出通过语义 - 视觉记忆生成与交互式细化模块提升性能。

  7. arXiv · 机器人与计算机视觉78

    FANO:一种用于扩散模型逆问题的锚定前向噪声优化方法

    Shilong Han 和 Hongxia Wang 提出了 FANO(Anchored Forward-Noise Optimization)方法,旨在解决预训练扩散模型在图像逆问题中直接优化去噪器输入 $x_t$ 时出现的径向漂移现象。

    推荐理由:针对退火去噪器输入径向漂移问题,提出锚定前向噪声优化方法,在保持分布结构的同时提升非线性逆问题的重建性能。

  8. arXiv · 机器人与计算机视觉78

    VoluCompose:构建紧凑体素视觉表示以理解医学图像

    VoluCompose 是一种免训练、模型无关的框架,旨在解决处理完整医学体积图像成本高昂的问题。该方法将内容选择与 Token 预算分配解耦,利用双曲 Token 组合模块和容量控制模块优化视觉编码器的注意力分布。

    推荐理由:VoluCompose 提出免训练框架,在保留 22.78% 视觉 Token 时质量达未压缩参考的 121.68%,显著优于基线。

11月8日周日
  1. Hugging Face Daily Papers78

    Spatial Harness:基于物理引擎的可执行世界状态实现空间推理落地

    Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。

    推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。

11月6日周五
  1. arXiv · 机器人与计算机视觉82

    ReFlowSET:面向 SAR 至 EO 图像翻译的表示对齐潜在流匹配方法

    该论文提出 ReFlowSET 框架,旨在从合成孔径雷达(SAR)观测生成光电(EO)影像。针对现有方法依赖预训练自然图像编码器的局限,该方法通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练较小的条件 DiT。

    推荐理由:提出 ReFlowSET 框架,通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练条件 DiT,实现 SAR 到 EO 图像翻译的最先进性能。

  2. arXiv · 机器人与计算机视觉78

    模拟视角的几何:在 Qwen3-VL-8B-Instruct 中解耦表征与行为

    该研究调查了 persona-conditioned visual interestingness 在 Qwen3-VL-8B-Instruct 中的表征几何,发现早期层主要编码图像身份,而特定人物结构出现在深层。提示词框架对内部表征的重塑作用强于人物身份,但人物内容对行为判断影响更大,表明表征距离不一定反映行为相关性。

    推荐理由:揭示了多模态大模型中表征几何与行为判断的解耦机制,为理解模拟视角的内部运作提供了新证据。

  3. arXiv · 机器人与计算机视觉78

    EDGAR:通过合成失败驱动的高效扩散高斯头像 refinement 方法

    EDGAR 是一种条件扩散框架,旨在修正高斯头像重建中的模糊、拉伸等伪影并保持身份保真度。该方法构建混合数据集 EDGAR-SET,利用自监督 Sapiens 模型提取特征注入一步扩散骨干网络,并采用专家混合架构处理不同退化类型。实验显示其在感知和重建指标上优于原始输出及基线方法,且具备跨视角一致性和极端姿态鲁棒性。代码已开源。

    推荐理由:该工作提出利用合成失败案例训练扩散模型以修复高斯头像重建中的伪影,代码已开源。

  4. arXiv · 机器人与计算机视觉78

    ManimCode:面向教育动画生成学习的视觉自我修正

    ManimCode 是一个针对教育动画生成的数据与训练框架,旨在解决渲染后存在的视觉缺陷、解释缺失或内容错误问题。研究构建了包含 24,034 条经过渲染验证和过滤的 ManimData 数据集,记录了中间程序、执行错误及修正轨迹。

    推荐理由:该工作提出 ManimCode 框架,利用渲染反馈数据训练单模型实现教育动画的视觉自我修正与代码迭代。

  5. arXiv · 机器人与计算机视觉78

    分层增量 Beta Splatting 用于在线三维重建

    该论文提出分层增量 Beta Splatting(HIBS)方法,将 Beta 核引入在线 3D Gaussian Splatting 以解决初始化差和细节缺失问题。利用几何可观测性和多视角深度一致性进行置信度感知生成,结合误差驱动的重新定位与 LOD 层级优化,在 Mip-NeRF 360 协议下提升 PSNR 最高 0.8 dB 并减少优化时间最多 40%。论文已接受至 WACV 2027。

    推荐理由:提出分层增量 Beta Splatting 方法,在在线重建任务中提升 PSNR 并缩短优化时间。

  6. arXiv · 机器人与计算机视觉78

    ProQuant:面向边缘多模态大模型的渐进式量化感知训练

    arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。

    推荐理由:提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。

  7. arXiv · 机器人与计算机视觉78

    通过上下文正则化交叉熵提升卷积网络的上下文偏移鲁棒性

    图像分类模型常因测试时上下文环境与训练期差异而性能下降,这种现象称为上下文偏移。本文提出一种新训练框架,利用空间特征归因引导模型更依赖物体相关特征而非背景线索。

    推荐理由:提出 ContrastiveCAMs 与 CR-CE 方法,通过抑制非因果上下文线索提升卷积网络在分布偏移下的鲁棒性。

  8. arXiv · 机器人与计算机视觉78

    旋转对 Token 不敏感:前馈几何 Transformer 后训练量化的一种结构准则

    论文提出 QMapAnything 框架,针对前馈 3D 重建模型中异质 Token 共享激活量化网格的挑战,证明传统的浮点保持旋转和平滑属于 Token-Blind 重参数化组,仅带来共模增益而保留相对 Token SNR。

    推荐理由:提出 QMapAnything 框架,证明旋转与平滑属于 Token-Blind 重参数化,结合统计量 Gamma 预测差异化偏差修正需求。实验显示 W4A8 精度接近全精度,W8A8 显存降低 2.2–3.1 倍且速度提升最高 3.1 倍,为资源受限边缘端部署前馈 3D 重建模型提供高效方案。

  9. arXiv · 机器人与计算机视觉78

    IDPrior:解耦身份生成与面部图像合成

    针对大规模带标签人脸数据集采集成本高及隐私伦理问题,本文提出 IDPrior 框架,将身份生成与图像合成解耦。该方法先在预训练人脸识别模型的嵌入空间学习扩散先验以建模面部身份分布并生成新颖身份特征,再以此条件化预训练的身份条件扩散模型进行多张同身份图像合成。

    推荐理由:提出 IDPrior 框架解耦身份生成与图像合成,在预训练人脸识别模型嵌入空间学习扩散先验以生成新颖且分布接近真实身份的特征。