跳到正文
11月16日周一
  1. arXiv · 机器人与计算机视觉84

    DoubleTake:面向长文档理解的视觉证据聚焦验证方法

    针对长文档问答中模型即使检索到充分证据仍可能回答错误的问题,论文提出了 DoubleTake 框架。该方法无需训练,利用初始阅读生成的候选答案与证据记录指导二次检索,通过规划器生成事实性问题、验证器基于源图像盲答以及推理器整合观察结果来解决原始问题。

    推荐理由:DoubleTake 框架在冻结 Qwen3-VL-8B-Instruct 骨干上,通过二次聚焦验证显著提升了长文档问答的准确率。

  2. arXiv · 机器人与计算机视觉83

    V-JEPA-LM:能读取动态信息的视频语言模型

    针对现有视频语言模型仅检索静态属性而忽略动态信息的局限,本文提出 V-JEPA-LM 架构。研究证明动态信息存在于预测编码器的子空间中,并通过像素变换构建反事实监督数据,使语言模型在单阶段训练中即可读取速度等动态特征。

    推荐理由:该文提出利用反事实监督让语言模型读取视频编码器中未被利用的动态信息,在单阶段训练中于多项基准测试中超越现有开源模型。

  3. arXiv · 机器人与计算机视觉59

    信号支架:解锁轻量级模型在自监督单目深度估计中的潜力

    针对边缘设备需求上升但现有轻量级方法精度不足的现状,本文提出无需引入额外数据集或参数的三阶段训练策略 Signal Scaffolding。该方法应用于自设计的轻量化网络 ReForgeDepth,在 KITTI 和 Cityscapes 数据集上实现了精度与效率的最优平衡,并能在边缘设备上实时运行。研究结果表明,通过优化训练方式即可进一步挖掘轻量级模型的潜在能力。

  4. arXiv · 机器人与计算机视觉56

    超越端点:基于贝塞尔曲线的视觉基础模型适应方法

    该研究提出通过学习少量共享提示词来适应冻结的视觉基础模型,并首次从理论上量化了特征空间传输的成本。研究发现,由于共享提示词与图像内容竞争注意力,仅靠线性插值往往无法沿最短路径移动;二次贝塞尔曲线路径能显著减少额外动作成本,在 VTAB-1k 数据集上提升了无标签分布偏移下的中间精度和在线准确率。论文给出了可解析的注意力模型分析,揭示了内容归一化对可达性的阈值效应,并提供了项目页面链接供复现。

  5. arXiv · 机器人与计算机视觉35

    SceneAgent:多智能体框架实现游戏场景生成跨引擎移植

    SceneAgent 是一个多智能体框架,通过维护规范化的场景上下文与后端适配器,实现了构建流程及经验在不同游戏引擎间的复用。该框架在包含 69 个室内外提示词的 GameSceneBench 基准测试中,相比五个基线获得 78.2%-89.4% 的人为调整偏好得分。消融实验表明可复用技能与多智能体协议主要提升了提示词对齐度与场景完整性,且部署至第二引擎时保留了共享协议库并替换了后端集成组件。

  6. arXiv · 机器人与计算机视觉53

    面向多变观测条件的多模态人物概念模型研究

    针对家庭与办公环境中服务机器人需基于少量观察且面对外观、环境噪声及语音内容变化进行用户识别的挑战,本研究提出了一种无需人员标签的多模态人物概念模型。该模型采用基于中国餐厅过程的非参数贝叶斯生成模型,结合 CLIP 和 CLAP 提取的视觉、声学及语言特征,并通过主成分分析(PCA)处理。

  7. arXiv · 机器人与计算机视觉23

    YOLO26 能否利用大语言模型优化预训练权重?多阶段无梯度编辑实证评估

    研究对 YOLO26 模型进行五阶段实验,对比确定性缩放、随机扰动及混合 LLM-CMA-ES 等策略在 MS COCO 数据集上的表现。结果显示增加 CMA-ES 预算虽提升开发增益至 +0.28 个百分点,但混合 LLM 方法未展现统计显著优势(p=0.612),且无法实现跨子集的持续迁移或可测量的模型增益。

  8. arXiv · 机器人与计算机视觉48

    Beyond Prediction Gain:LASR 作为世界模型中动作 grounded 潜变量的评估指标

    针对大规模视频数据缺乏动作标注且现有评估无法区分预测捷径与真实动作信息的问题,研究提出 Latent Action Support Ratio (LASR) 这一无单位离线指标。该基准通过机器人操作记录数据验证了 LASR 能检测已知动作信息、拒绝非动作捷径并支持不完备潜变量的分级比较。此外,利用 LASR 训练和审计的轻量残差适配器获得了描述性更优的点估计值及其不确定性评估。

  9. arXiv · 机器人与计算机视觉72

    AnisoFlow:学习各向异性预测目标的流模型方法

    针对基于流的生成模型依赖人工设定预测目标(如速度或噪声)的问题,本文提出 AnisoFlow 框架,引入可学习的各向异性缩放机制替代固定目标。该方法在保持网络架构与损失函数不变的前提下,通过闭式映射恢复速度场,显著降低预测误差。实验显示,AnisoFlow 在 ImageNet 256x256 数据集上将 FID 分数从 1.90 提升至 1.55,并在低精度推理下有效消除图像块接缝伪影。

  10. arXiv · 机器人与计算机视觉42

    基于 VLM 的创意产品设计框架在品牌约束下实现重生成

    针对工业设计中品牌图像等隐性约束难以满足的问题,该研究提出一种结合品牌调研与自我增强循环的重设计生成框架。在涵盖汽车、摩托车等五类产品的 50 项任务中,该方法相比 Naive T2I 及 IP-Adapter/IT-Blender 基线,显著提升了创意性与品牌可识别性的平衡效果。

  11. arXiv · 机器人与计算机视觉78

    VACO:基于顶点对齐的解码方法实现单图密集手部接触估计

    arXiv 发布论文 VACO,针对单张 RGB 图像进行密集手部接触估计任务,提出顶点对齐解码器以解决传统直接预测器中顶点无锚定导致的接触涂抹问题。该方法通过 MANO 顶点采样局部特征,联合训练重建与接触预测,无需辅助重建器即可在推理时预测位置。

    推荐理由:该预印本提出顶点对齐解码器解决单图密集手部接触估计难题,在五项基准上刷新 SOTA 并提升下游交互重建效果。

  12. arXiv · 机器人与计算机视觉48

    Stage-wise Lineage-aware Dropout 提升稀疏视角 3D Gaussian Splatting 重建性能

    针对稀疏图像导致的过拟合问题,该方法提出基于谱系家族的阶段式丢弃策略与平衡稠密化机制。在 LLFF、MipNeRF360 及 Blender 数据集上的实验表明,该框架实现了具有竞争力的稀疏视角重建效果。相关代码与数据暂未开放,论文处于 arXiv 预印本状态。

  13. arXiv · 机器人与计算机视觉78

    跨视图一致性在多视图外观增强中的重要性:一项针对视觉运动策略的受控研究

    Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。

    推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。

  14. arXiv · 机器人与计算机视觉58

    HarmonyText:基于反向精炼对合成与区域解耦频率学习的和谐场景文本编辑

    论文 HarmonyText 针对自然语言引导的无掩码场景文本编辑任务,提出区域解耦优化(RDO)和级联高频纹理引导(CHFTG),以解决伪监督不可靠、生成过度平滑及缺乏无真值评估的问题。作者构建了包含 25K 配对数据的高质量数据集 STE25K,并引入基于颜色分布差异和谐mony 评估模型的无真值评测协议。实验表明该方法在文本编辑精度、背景保真度、色彩一致性和感知和谐度上优于现有方法。

  15. arXiv · 机器人与计算机视觉58

    ERA:基于预测深度的抗错自主物体导航

    针对深度传感器缺失导致地图累积误差的问题,该研究提出了 ERA 系统,利用 RGB 图像和位姿预测深度,采用‘带着误差移动’范式,通过可修订的占据栅格和可达视点探索来修正地图并持续搜索。实验显示该方法在三个基准测试中达到免训练方法的最优性能,并将 VLFM 的成功率从 10.8% 提升至 61.7%,且已在真实机器人上部署验证。

  16. arXiv · 机器人与计算机视觉78

    Ego2Flow:基于真实城市地图蒸馏的自动驾驶交通系统影响基准

    该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。

    推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。

  17. arXiv · 机器人与计算机视觉78

    QCAP-VQA:面向医学视觉问答的问题条件化上限先验质量监督

    论文提出 QCAP-VQA 模型,利用排名分割提案构建问题条件的先验来监督交叉注意力头,并通过 capped prior-mass 目标函数限制先验内的注意力质量。

    推荐理由:提出基于问题条件的 capped prior-mass 监督方法,在无需专家掩码下实现空间监督并验证了自动先验的局限性。

  18. arXiv · 机器人与计算机视觉48

    RaFL:一种用于图像重建的随机滤波器损失实证研究

    RaFL 通过结合随机卷积、傅里叶特征和小波滤波器,在无需预训练特征或手动调参的情况下实现图像重建。该方法在五个任务中表现稳定且计算开销低,仅增加不到 2% 的前向 FLOPs,所需损失函数 FLOPs 比 VGG19 感知损失少 182 倍。研究证实该损失目标对 2D 和 3D 重建均有效,优于像素损失并匹配其在两个任务上的表现。

  19. arXiv · 机器人与计算机视觉82

    CLIP 嵌入中分层概念结构的可证明跨模态转移

    该论文形式化了 CLIP 嵌入中的层次角分离现象,分析了图像与文本嵌入在对比学习下的不对称性,推导了线性损失和 InfoNCE 损失的闭式解,并通过合成实验验证了理论。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。

    推荐理由:本文从理论上解释了 CLIP 嵌入中层次结构产生的几何机制,并给出了闭式解。

  20. arXiv · 机器人与计算机视觉45

    EViDS:环境 - 车辆动力学集成仿真平台助力智能底盘开发

    EViDS 是首个将 CARLA 环境感知与 CarSim 高保真动力学集成的仿真平台,通过射线铸造轮胎路面交互及参考姿态对齐技术维持时空一致性。该平台支持在线闭环智能底盘控制,在动力学特性保持与环境信息可靠传递的测试中表现优异,为环境感知型智能底盘开发提供统一验证基础。

  21. arXiv · 机器人与计算机视觉78

    模仿策略学习本体感知锚点:感知噪声的预测定律及其闭环成本

    针对机器人操作任务中模仿策略在训练时利用本体感知信息(proprioceptive anchor)来折扣感知噪声的现象,本文给出了一个基于方差比 $eta = V/(V + s^2)$ 的解析公式。

    推荐理由:论文揭示了模仿策略如何利用本体感知锚点修正感知噪声,并在闭环部署中验证了该机制对成功率的预测能力。

  22. arXiv · 机器人与计算机视觉58

    AI 引导的机器人原位制造曲率自适应无线生物电子器件

    针对复杂体表个性化生物电子设备的需求,本文提出一种结合 3D 视觉、六自由度机械臂和直接墨水写入的 AI 引导机器人原位打印平台。系统利用 AI 进行伤口分割以确定尺寸与局部曲率,并将重建的三维几何信息纳入接收线圈与叉指电极的电磁设计,以补偿由几何形状引起的谐振行为偏移。研究在人体组织等效前臂假人上演示了该工艺,将假人的介电特性融入 RF 优化,实现了接近目标频率(25 MHz)的谐振操作。

  23. arXiv · 机器人与计算机视觉48

    预训练视觉表征在富接触插入任务策略学习中的效用研究

    针对富接触操作(如插入)中视觉模仿学习数据效率低且易受无关视觉干扰的问题,研究对比了主流视觉基础模型与显式以接触为中心的表征。实验通过遮挡和物理容差扰动验证发现,最佳表征存在显著任务依赖性,但空间锚定及接触中心信息在仿真与现实实验中均展现出独特价值。该工作强调了在真实视觉复杂度和传感器噪声下可靠估计此类线索的难度,并呼吁进一步研究感知与策略学习的融合。

  24. arXiv · 机器人与计算机视觉45

    I-JEPA 在视网膜 OCT 中采用解剖引导的目标选择提升表征学习性能

    针对视网膜 OCT 仅部分包含视网膜组织的结构特征,该方法利用图像强度与预测分割进行解剖引导目标选择,替代了传统均匀掩码策略。实验显示,基于图像强度的矩形目标在 FairVision 数据集上的线性探测青光眼分类 AUC 最高,证实了解剖意义选择的有效性。该研究作为 NeurIPS 2026 GenAI for Health Workshop 海报被接受(非存档),代码与权重暂未开放。

  25. arXiv · 机器人与计算机视觉75

    重新思考文本到图像奖励建模中的视觉推理

    该论文发现现有奖励模型在视觉推理任务上表现不佳,且微调会削弱其能力。作者提出一种数据干预方法,通过翻转配对轴将现有视觉推理数据集转化为偏好对,与常规人类偏好数据混合训练。实验表明该方法实现了帕累托改进,在 GenEval 基准测试中,相比基于六倍更多偏好对训练的 HPSv3,模型在推理时最佳 n 选择和强化学习后训练任务上的表现分别提升了 4.0% 和 5.5%。

  26. arXiv · 机器人与计算机视觉78

    欠功率双摆的自然摆动上升方法

    针对电机扭矩仅占肩关节重力矩约 6% 的欠功率直接驱动平面两连杆机器人,本文提出沿其非线性正常模态进行摆动上升的方法。该方法将输入力矩分解为功率中性的转向分量与标量泵送分量,利用基于模型的误差率约束构建线性规划以最大化能量注入,无需稳定化反馈增益。硬件实验验证了沿两种模式的摆动上升能力,并与求和截断及优先稳定化策略进行了对比。

    推荐理由:原文提出利用非线性模态控制欠功率双摆,通过线性规划分配能量注入与稳定化输入。

  27. arXiv · 机器人与计算机视觉78

    Grounding Object-to-Object Hazard Reasoning into 3D Risk Fields for Task-Conditioned Safety

    该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。

    推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。

  28. arXiv · 机器人与计算机视觉30

    Talk to Act:首个合成多轮对话基准助力小参数模型实现机器人意图提取与动作规划

    Talk to Act 发布了一个合成生成的多轮对话数据集,旨在评估无需特定微调的小参数语言模型(270M 至 8B)在机器人场景下的意图提取与动作规划能力。实验表明,这些紧凑模型在本地部署环境下即可实现合理的任务性能,为构建高效的人机交互系统提供了实用基线。

  29. arXiv · 机器人与计算机视觉74

    学习潜在目标成本以支持视觉世界模型的规划:基于扩展课程的方法

    针对冻结视觉世界模型中图像 - 目标规划依赖预测观测评分的问题,本文提出在预训练 I-JEPA 嵌入上拟合小残差适配器来优化潜在目标成本。该方法利用成功轨迹的观测顺序及失败回滚推断的比较进行学习,无需任务特定进度标签。

  30. arXiv · 机器人与计算机视觉48

    对抗跟踪:自动驾驶车辆图像传感器上的攻击研究

    该研究评估了针对 YOLOv3、YOLOv4 检测器配合 SORT 等系统的图像特定与图像无关攻击,发现 HOTA 指标在最强攻击下从约 56% 骤降至 17%,MOTA 甚至跌至 -772.60%。实验基于 CARLA 仿真平台进行,揭示了仅凭检测精度无法表征对下游轨迹估计的潜在影响。论文已上传至 arXiv,代码与权重暂未提及开放许可。

  31. arXiv · 机器人与计算机视觉74

    Racing the Clock:预算条件化的物体搜索教学

    该论文提出在视觉语言导航任务中引入显式时间预算约束,对比了基于全局地图的最优路径专家与基于部分可观测性的贝尔曼方程专家对智能体的监督效果。实验表明,尽管最优路径专家性能更高,但贝尔曼监督在探索未知场景时表现更优,特别是在长预算条件下能发现更多目标实例。

  32. arXiv · 机器人与计算机视觉58

    实时扩散重光照作为神经传感器:弥合机器人感知的低光照域差距

    针对低光照条件严重降低机器人感知性能且现有增强方法延迟过高的问题,本文提出一种将生成式神经传感器嵌入控制回路的方法,利用图像到图像的扩散模型进行语义恢复。系统采用实时感知架构,仅在检测置信度下降时激活背景线程中的大规模扩散模型,显著降低计算开销。

  33. arXiv · 机器人与计算机视觉72

    ParseBench-2:一种感知严重性的文档解析评测基准发布

    论文介绍了一种从严重性策略出发开发文档解析指标的方法,通过测试场景定义指标行为并利用代码智能体优化实现。作者构建了 ParseBench-2 基准,涵盖文本、格式、表格等六个维度及 4,317 页数据,结合内容恢复分数与严重性上限来评估模型。

  34. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。

  35. 上海人工智能实验室 · 科研动态78

    上海AI实验室发布开源书生科学多模态大模型S2.1 Flash

    上海AI实验室发布并开源书生科学多模态大模型S2.1 Flash(简称书生-S2.1 Flash),依托统一表征架构支持分子、光谱等多类科学数据输入,融合视觉感知操控科研软件能力。模型在递归式自我改进模式下持续迭代优化,已在CT切片恢复、遥感水域变化量化、航空发动机装配建模检查及脑电伪迹剔除四项任务中验证闭环执行能力,推理成本显著降低且交付可复核的工程文件。

    推荐理由:上海AI实验室发布书生-S2.1 Flash,融合科学多模态理解与通用智能体能力,支持在专业软件中执行复杂科研任务并交付可复核的工程文件。