跳到正文

技术方向

计算机视觉 最新动态

检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。

985 条精选近 30 天 659 条共收录 6,653 条

更新

精选归档 · 第 42 页

10月9日周五第 821–840 条
  1. Hugging Face Daily Papers83

    面向物理驱动的连杆式 3D 资产生成:多智能体流水线与基准

    本文提出 Artisan 系统,通过引入多智能体流水线与物理仿真反馈,将 3D 资产生成的目标从外观复现转向运动与功能捕捉,支持无碰撞运动、重力下稳定性及准确的质材属性。

    推荐理由:提出 Artisan 系统与基准,在保持空间保真度的同时实现最低碰撞率与最高稳定性。

10月8日周四
  1. arXiv · 机器人与计算机视觉82

    VIA:一种用于机器人控制的视觉界面智能体框架

    该论文提出了 VIA(Visual Interface Agent)框架,将机器人控制重构为智能体任务,利用现成的通用智能体通过虚拟工作空间中的鼠标式工具直接驱动机械臂。研究在仿真和真实世界移动操作机器人上实现了零样本的多样化桌面操作与导航任务,且性能随基础模型规模提升而增强,表明现有前沿智能体具备直接迁移至机器人控制的能力。

    推荐理由:提出 VIA 框架,证明通用智能体无需训练即可通过虚拟界面直接控制机器人完成操作与导航任务。

  2. arXiv · 机器人与计算机视觉82

    LightCrafter:基于 PBR 条件化的视频扩散重光照模型

    论文提出 LightCrafter,将视频重光照重构为对 PBR 渲染的代理视频进行翻译,以平衡物理一致性与时序稳定性。作者通过合成数据与真实未配对视频后训练 CogVideoX 以捕捉全局光照等效应,并在现有基准上优于先前的最先进水平。材料包含数据集、评测指标及代码开源计划,属于预印本论文。

    推荐理由:提出 LightCrafter 混合管线,通过 PBR 代理视频结合 CogVideoX 后训练实现可控重光照与长时序一致。

  3. arXiv · 机器人与计算机视觉82

    静止即保持静止:打破视觉惯性以缓解关系幻觉

    该论文指出多模态大模型虽具备强实体感知能力,但在物体间关系交互上常出现幻觉,且单纯增强视觉信号难以修正。研究揭示幻觉往往源于对先前主导证据的过度依赖(视觉惯性),导致解码性能随历史注意力累积而下降。

    推荐理由:针对多模态大模型在关系描述中存在的视觉惯性导致的幻觉问题,提出了一种基于注意力历史动态校准的解码方法。

  4. arXiv · 机器人与计算机视觉83

    Agentic RSR:基于场景重建与执行 grounding 的机器人从现实到仿真再到现实的策略框架

    论文提出了 Agentic RSR 框架,旨在解决场景重建与策略开发分离的问题。该框架利用视频、任务描述和已知机器人模型,通过智能体恢复度量尺度并迭代优化场景,随后在 MuJoCo 中检查交互并开发从特权姿态到视觉观察的策略。

    推荐理由:提出将场景重建与策略开发通过同一任务链接的框架,在真实机器人上实现了 80% 的仿真成功率保留。

  5. arXiv · 机器人与计算机视觉78

    Scalable Patch-Level Self-Supervised Learning:JEM 算法发布

    论文提出了名为 JEM 的学生 - 教师自监督学习算法,该方法基于多视图假设构建信息论目标函数,通过跨视图对齐补丁表示并显式正则化以保留信息和结构。实验表明,JEM 在 300M 至 7B 参数规模下均能稳定训练,且在分割基准测试中超越 DINOv2;特别是在 7B 参数规模下,无需微调阶段且仅使用 DINOv3 1/12 的数据量,其泛optic分割性能即超过 DINOv3。

    推荐理由:提出基于多视图假设的 JEM 算法,在 7B 参数规模下实现稳定训练且无需微调即可超越 DINOv3。

  6. arXiv · 机器人与计算机视觉82

    OrthoPurify:通过移除劫持方向净化带后门的视觉语言模型

    针对大视觉语言模型(LVLM)在后门攻击下的脆弱性,本文提出 OrthoPurify 方法,利用伪良性参考模型识别并移除被劫持的权重更新方向。该方法仅需单步正交投影即可在无需重训或引入推理开销的情况下,将攻击成功率降至近零,同时保持原有性能。代码已公开。

    推荐理由:提出 OrthoPurify 方法,通过单步正交投影移除后门方向,无需重训或推理开销即可将攻击成功率降至近零。

  7. arXiv · 机器人与计算机视觉82

    Hard, Yet Reducible:受控前向迁移用于合成退化策展

    论文提出受控可还原退化差距(cRDG)指标,通过对比合成退化与清洁增强的探针评估有限训练预算下的泛化增益。该方法在语义分割和显著性检测任务中提升了代表性预测器的性能,同时保持清洁图像表现,代码与支持材料将公开。

    推荐理由:提出 cRDG 指标筛选合成退化数据,在语义分割与显著性检测任务中提升模型泛化且不损害清洁图像性能。

  8. arXiv · 机器人与计算机视觉82

    Flow-of-Thought:一种基于视觉草图生成的空间推理框架

    针对大型语言模型和视觉 Transformer 在需要空间理解的任務中表现不佳的问题,该研究提出 Flow-of-Thought(FoT)框架,通过生成视觉草图作为中间推理步骤来模拟人类的心智意象。

    推荐理由:该工作提出通过生成视觉草图作为中间推理步骤来弥补大模型在空间理解上的不足,并在 Tetris 等任务上达到极高准确率。

  9. arXiv · 机器人与计算机视觉83

    DynStream:基于未标定视频的动态世界在线流式 4D 高斯重建

    论文提出了 DynStream 框架,用于从长时未标定视频流中实现动态 4D 场景的在线重建与逼真渲染。该方法在局部时间窗口内重建场景,并增量对齐融合为全局一致的场景,无需单场景优化。通过联合约束跨窗口几何一致性并建模随时间变化的场景内容,实现了高效重建和高质量渲染。实验表明,该框架在多种动态室内外场景中均达到了最先进的性能水平。

    推荐理由:该工作提出在线流式 4D 高斯重建框架,解决长视频无位姿连续处理与逼真渲染难题。

  10. arXiv · 机器人与计算机视觉83

    VLM 为何会漏掉小物体以及何时缩放是安全的

    该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。

    推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。

  11. arXiv · 机器人与计算机视觉78

    基于 R-CNN 的国际象棋棋局识别研究

    该论文提出一种基于 R-CNN 的框架,用于仅从单张三维棋盘图像中识别国际象棋棋局位置与朝向。方法包含独立的棋子识别组件(改进 Faster R-CNN)和棋盘几何估计组件(利用 Mask R-CNN 预测八边形边界关键点以计算单应性矩阵)。

    推荐理由:提出基于 R-CNN 的框架,通过独立组件结合棋盘几何估计与棋子识别,在合成数据集上将平均精度从 61.59% 提升至 90.14%,并能恢复约 76.61% 的测试棋局。

  12. arXiv · 机器人与计算机视觉78

    Depth-to-RGB:用于几何引导合成的冻结深度估计器复用框架

    本文提出了 Depth-to-RGB 框架,旨在解决基于参考的对象合成中场景几何隐含的问题。该方法利用成对完成场景的编码器特征监督,对冻结的深度估计器进行条件修正,并通过固定渲染器将校正后的表示映射为预期场景深度。

    推荐理由:该工作提出利用冻结深度估计器进行几何引导的合成,在开放集与类别无关数据上均优于现有开源及闭源基线。

  13. arXiv · 机器人与计算机视觉78

    OverLay++:面向复杂重叠场景的密集布局到图像生成数据集

    针对现有布局到图像生成方法在处理复杂重叠交互场景时的不足,本文提出了 OverLay++ 大规模数据集。该数据集包含约 50 万张图像,平均每图 6.6 个物体,标注密度比现有数据集高 1.67 倍,且物体描述长度超过当前数据集的六倍。实验表明,基于该数据集训练的布局生成方法在多个基准测试中均表现出一致的改进和更快的收敛速度,证明了密集、重叠感知及丰富语义监督的重要性。

    推荐理由:OverLay++ 数据集通过高密度重叠物体与长语义描述解决了现有布局生成数据瓶颈,显著提升模型收敛速度与泛化能力。

  14. Hugging Face Daily Papers85

    SGF+:通过解耦梯度流提升自回归视频生成的质量与长程一致性

    论文 SGF+ 针对自回归视频生成中当前帧去噪与写入上下文共享参数导致梯度负对齐的问题,提出将两者分离为独立参数并通过因果注意力保持交互。该方法无需辅助损失或额外视频训练数据,在 framewise 和 chunkwise 模式下均优于基线,仅用 5 秒 rollout 即可支持连续生成至 24 小时,验证了角色特定参数化对高质量长程生成的有效性。

    推荐理由:提出参数解耦方法,在仅用 5 秒视频数据训练下实现连续生成长达 24 小时,无需额外微调。

  15. Hugging Face Daily Papers82

    GRACE:面向生成的感知潜在压缩以加速视频生成

    论文提出 GRACE 框架,通过冻结预训练编码器基座并学习残差潜变量,使高压缩比自动编码器与预训练扩散 Transformer 保持兼容。该方法在优化自编码器的同时微调 DiT 并进行非对称去噪,将 Wan2.1-I2V-14B 的 token 数减少 8 倍、延迟降低 11.1 倍,且在 VBench 上匹配原始生成质量。

    推荐理由:提出 GRACE 框架,在保持 Wan2.1-I2V-14B 生成质量的同时将 token 数降低 8 倍、延迟降低 11.1 倍。

  16. Hugging Face Daily Papers78

    Sensor-Language-Action 模型:连接感知与行动的统一框架及 OpenSLA 发布

    论文介绍 Sensor-Language-Action (SLA) 建模框架,将多模态传感器观测、自然语言与动作在统一模型中连接,利用语言作为语义接口实现异构动作的表示、预测与解释。

    推荐理由:该工作提出统一传感器、语言与动作的建模框架,并构建大规模基准验证其在临床预测等真实任务中的性能。

10月7日周三
  1. arXiv · 机器人与计算机视觉80

    HARMONY:面向单目图像的场景合成分层智能体推理框架

    论文 HARMONY 针对单目图像重建中语义理解与几何对齐的矛盾,提出结合智能体推理与视觉几何基础模型的层级框架。该方法先通过相机标定建立语义空间帧,利用 VLM 推理恢复房间布局及物体放置顺序,按墙体、家具到装饰品的层级进行深度优先遍历放置,并通过点云估计进行几何细化以对齐渲染图像。实验表明其在合成与真实世界图像上均优于基线,且相比 GPT-6 Astra 在物体排列和场景细节保留方面表现更优。

    推荐理由:提出结合智能体推理与视觉几何基础模型的层级框架,解决单目图像到复杂室内场景的高保真重建难题。

  2. arXiv · 机器人与计算机视觉84

    PointZero:一种用于学习可迁移 3D 动力学的 3D 点轨迹补全方法

    PointZero 是一种基于 Transformer 的世界模型架构,通过 3D 点轨迹补全这一预训练目标,在不依赖机器人动作标签的情况下学习丰富的 3D 动力学先验。该方法在 PGND 基准测试及多项仿真与真实世界操作任务中表现优于或持平于基线。作者开源了包含 290 万帧合成数据的多样化数据集、模型检查点及完整训练配方。

    推荐理由:该论文提出无需机器人动作标签的预训练目标,在仿真与真实操作任务上均优于基线。

  3. arXiv · 机器人与计算机视觉78

    RIPE++:仅基于正样本对进行强化关键点学习

    该论文针对稀疏关键点提取与匹配任务,提出一种仅需正样本对即可学习的强化学习奖励机制,无需依赖准确的相机姿态、深度监督或负样本对比。方法在 MegaDepth1500 数据集上将 AUC@5 从 56.58 提升至 59.65,并扩展至弱监督的全流程稀疏匹配管道及低纹理医学视频序列。代码与数据已开源,论文获 ECCV 2026 最佳论文奖。

    推荐理由:提出仅利用正样本对的强化学习奖励,在无需负样本或深度监督下实现鲁棒的特征学习与匹配。