跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉65

    VOIM:一种用于 RGB-D 和单目 SLAM 的免训练开放词汇 3D 实例映射系统

    该预印本提出 VOIM 系统,这是一种无需训练的开放词汇 3D 实例映射方法,能够从 RGB-D 或单目 RGB 视频构建物体及其位置的地图。系统在 ScanNet++ 数据集上取得了比最强基线高 10 个点的现成类别 mIoU,且在仅使用单目视频时表现优于配备深度和真实位姿的对比方法。研究还通过四足机器人的实地导航实验验证了所建地图在现实世界中的可用性。

  2. arXiv · 机器人与计算机视觉68

    Read It Back:预训练多模态大模型是文本生成图像的零样本奖励模型

    论文提出 SpectraReward 方法,利用预训练多模态大模型(MLLM)无需额外训练即可作为图像生成强化学习的奖励模型。该方法通过单次教师强制前向传播,测量从生成图像恢复原始提示词的平均对数似然值作为奖励信号,直接复用 MLLM 的图文对齐能力而无需偏好标签或奖励模型微调。

  3. arXiv · 机器人与计算机视觉49

    CLIP 测试时自适应驱动因素与控制研究:TTABC 基准发布

    该研究通过受控实验揭示 CLIP 测试时自适应(TTA)的驱动机制,提出开源基准 TTABC 整合超 20 种方法并标准化评估协议。分析表明适应增益主要源于测试时证据与可靠代理而非重度优化,且不存在适用于所有分布偏移的万能范式。项目页面已公开,论文被 NeurIPS 2026 E&D Track 接收。

  4. arXiv · 机器人与计算机视觉85

    KITScenes 多模态自动驾驶数据集发布:高保真传感器与完整 HD 地图

    KITScenes 多模态数据集发布,包含高分辨率全局快门相机、400 米外长距激光雷达、4D 成像雷达及冗余 GNSS/INS。其 HD 地图据称最完整,首次将交通信号灯等元素以三维拓扑连接形式映射至重投影精度水平。

    推荐理由:KITScenes 数据集发布高保真多模态数据与 HD 地图,填补了地理多样性与长距雷达空白。

  5. arXiv · 机器人与计算机视觉72

    DinoComplete:融合蒸馏语义先验与状态空间模型的 3D 形状补全方法

    针对未见类别和含噪观测下的 3D 形状补全难题,该研究提出 DinoComplete 框架,通过从 DINO 特征蒸馏多视图语义体并训练学生网络预测稠密语义特征,将其与几何表示融合并通过多尺度体素 Mamba 模块进行长程推理。实验表明该方法在 ShapeNet 未见类别和 ScanNet 对象上,相比先前的确定性或生成式方法具有更具竞争力的补全质量,同时参数量更少、显存占用更低且推理速度更快。

  6. arXiv · 机器人与计算机视觉82

    面向多模态大模型重构的推测解码方法

    该论文提出了 Multimodal Speculative Decoding (MSD) 框架,旨在解决多模态大语言模型(MLLMs)自回归解码延迟高的问题。针对文本和视觉 token 特性差异,该方法在草稿模型中解耦了两者处理并应用特定策略,同时采用先强化语言建模再逐步引入视觉感知的两阶段训练方案。

    推荐理由:提出针对多模态大模型的推测解码框架,通过解耦文本与视觉 token 处理及两阶段训练策略,在保持生成质量的同时实现显著推理加速。

  7. arXiv · 机器人与计算机视觉12

    神经康复技术共创工作坊:早期纳入生活体验专家的参与式设计实践

    在第六届国际神经康复会议上,研究者组织了一场包含 5 名中风患者及照护者的参与式设计工作坊,利用双钻模型与旅程地图引导团队从学科假设转向基于真实体验的优先事项。该过程成功将狭窄目标转化为具体任务方案,并将宽泛目标扩展为具备感官反馈或刺激功能的设备概念,获得了参与者的高度满意。所有工具与协议均已公开共享,为未来在神经康复技术开发中早期纳入生活体验专家奠定了实践基础。

  8. arXiv · 机器人与计算机视觉72

    Zora:基于检索推测与硬件加速的高效 VLA 推理框架

    针对资源受限平台上视觉语言动作(VLA)模型的自回归生成延迟问题,本文提出了 Zora 软硬件协同设计框架。该方法利用轻量级检索增强生成(RAG)草案模型结合机器人动力学替代昂贵的神经网络草案模型,并通过运动学引导的动作接受策略与 KV-cache 共享注意力机制降低批验证开销。

  9. arXiv · 机器人与计算机视觉45

    MultiMediate'26 挑战:跨领域、年龄与文化的人机及人际互动参与度估算基准发布

    MultiMediate'26 挑战扩展评估域至包含 PInSoRo 数据集的儿童 - 儿童与儿童 - 机器人玩耍会话,引入 NoXi、NoXi-J、MPIIGI 及 PInSoRo 数据集并公开基线代码。该工作通过多模态特征提取,实现了跨领域、年龄范围和文化背景的参与度估算基准,为辅助 AI 系统建模提供透明环境。

  10. arXiv · 机器人与计算机视觉28

    KR A1:集成个性化语音合成与情感响应的人形机器人交互原型设计

    KR A1 是一款整合个性化语音合成、上下文对话及情感感知响应生成的人形机器人交互原型,旨在探索心理健康护理应用。系统架构采用本地部署的 Qwen2.5-3B-Instruct 模型处理自然语言,结合 OpenVoice v2 实现零样本说话人自适应语音合成,并利用 InsightFace 进行人脸识别与 FAISS 向量检索支持个性化互动。

  11. arXiv · 机器人与计算机视觉42

    dNaViT:离散代码作为通用视觉表示的技术报告

    dNaViT 是一种基于冻结预训练编码器的离散原生分辨率视觉 Transformer,利用分组产品量化在保持语义与像素信息的同时扩展离散容量。该模型在 12 个视觉理解基准、4 个生成基准及图像编辑基准上表现匹配或超越专用基线,证明紧凑离散词汇可作为通用视觉货币。项目页面、代码、模型权重均已公开,属于技术报告状态。

  12. arXiv · 机器人与计算机视觉78

    Compass 1:面向开放世界与持久化具身导航的单目 RGB 视频模型

    Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。

    推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。

  13. arXiv · 机器人与计算机视觉44

    四步文本生成图像蒸馏框架发布:结合局部响应正则化与教师引导训练,GenEval 整体得分达 0.84

    该研究提出一种四步蒸馏框架,通过局部响应正则化和教师引导训练,在保留 GLM-Image DiT 自回归先验的同时降低采样成本。学生模型在 GenEval 上取得 0.84 的整体分数和 0.5045 的 CVTG-2K 单词准确率,推理耗时仅 1.742 秒(教师为 5.818 秒),实现 3.34 倍加速且显存需求同为 40 GB。

  14. arXiv · 机器人与计算机视觉35

    GeoPilot:诊断引导的空中重建干预与几何评估

    GeoPilot 工作流将大语言模型诊断、数值工具重建及外部几何评估结合,生成可执行的程序或相机配置干预。在 224 张 Metashape-raster 开发图像上,共享内参假设使六个原生坐标指标全部改善,平均表面到参考距离减少 7.04%;而在独立棋盘格样本上的参考辅助对齐则限制了该增益。

  15. arXiv · 机器人与计算机视觉52

    SurfScaff3D:桥接几何与语义表示以实现 LLM 驱动的三维物体生成

    论文 SurfScaff3D 提出 Hierarchical Patch Scaffold (HPS) 表示法,通过语义部件抽象解决大语言模型推理与传统三维参数化不兼容的瓶颈。该框架支持文本和图像到三维的交互生成,具备无需昂贵微调即可进行自然语言编辑的能力,并在多种物体类别上展现出高几何保真度和语义对齐度。材料为预印本,已接受于 WACV 2027。

  16. arXiv · 机器人与计算机视觉56

    LIFT:一种结合局部度量对齐与基础模型引导传播的少样本深度补全方法

    该论文提出 LIFT 框架,利用冻结预训练单目深度估计(MDE)基础模型的深度与特征先验进行少样本深度补全。方法首先基于粗粒度网格估计局部尺度和平移参数并插值生成空间自适应度量深度初始化,随后通过多尺度深度传播逐步细化,最后由轻量级残差解码器结合多级基础模型特征与传播修正完成最终优化。

  17. arXiv · 机器人与计算机视觉65

    ZARA:基于单张图像的零样本可动画化与可重光照 3D 头像重建

    ZARA 提出一种零样本前馈框架,从单张图像重建出可动画化的 3D 高斯头像及其内在属性。该方法耦合预训练大规模人体重建模型与材料 Transformer,继承几何先验并学习感知材料的 Gaussian 表示;引入高斯对齐的材料特征融合策略注入多尺度材料特征,并利用伪材料标签进行监督及 MatFace 正则化以保留面部结构。

  18. arXiv · 机器人与计算机视觉58

    超越行对齐:面向虚拟相机的在线立体校正

    针对立体匹配中因物理位移导致的标定失效问题,现有在线校正方法仅优化行对齐仍会引入图像畸变。本文提出VirtualRect方法,通过估计校正后的虚拟立体相机并结合全图形变监督,确保用于匹配的图像与深度计算模型保持几何一致。实验表明,该方法在Carla-Flowguided数据集上将垂直流误差降低17%,在半卡车高速公路场景下降低7%;在三个下游立体匹配器上,将深度平均绝对误差降低了30%-41%。

  19. arXiv · 机器人与计算机视觉42

    EmbodiedIntentBench:面向移动机器人任务的意图驱动运行时自适应评测基准

    EmbodiedIntentBench 提出了一套用于评估移动机器人任务中意图驱动运行时适应性的基准,通过结构化契约涵盖覆盖、时效证据及资源约束。在多阶段仓库研究中,87.5% 召回率配置仅完成 1/16 任务而低召回率配置完成 14 个,且忽略执行导致的观测损失会逆转策略优劣排序。

  20. arXiv · 机器人与计算机视觉51

    RefineSplat:面向开放词汇查询的重构引导物体中心高斯泼溅

    论文提出了 RefineSplat 框架,旨在解决现有高斯泼溅方法在复杂场景中存在的视图不一致、边界模糊及物体对应关系弱的问题。该方法采用先跟踪后重构的范式,利用渲染掩码和多视角一致性对物体跟踪进行重构引导反馈,并引入视点感知嵌入分配策略以捕捉依赖视角的语义线索。

  21. arXiv · 机器人与计算机视觉58

    Agibot:一款用于农业机器人研究的开源模块化转向驱动平台

    Agibot 是一款开源、模块化且低成本的农业机器人平台,旨在解决农业自动化研究中缺乏灵活平台的难题。该平台集成了四轮独立转向驱动、可更换计算单元、分布式嵌入式控制及多模态传感,支持感知 - 规划 - 执行 - 验证的完整闭环框架。

  22. arXiv · 机器人与计算机视觉78

    ATLAS:一种多程序基准与手术解剖分割的上下文感知模型

    针对微创手术中解剖结构识别受限于小样本数据集和自然场景方法的痛点,该工作发布了包含 121,018 个标注帧的手术视频语义分割数据集 ATLAS-120k。同时提出了 ATLAS 模型,利用域内基础模型嵌入并引入程序与手术阶段的上下文查询及帧间传播机制。

    推荐理由:该工作发布了包含 12 万帧的手术解剖数据集 ATLAS-120k 及上下文感知模型 ATLAS,在分割精度与时序一致性上超越现有基线。

  23. 量子位82

    Anthropic发布Claude Fable 5.2与Mythos 5.2模型

    Anthropic发布Claude Fable 5.2与Mythos 5.2模型,展示从空文件夹构建完整操作系统、单卡破解病毒外壳折叠及一天内设计制造硬件的能力。材料披露为防止自我迭代失控,训练阶段锁死了新模型的RSI能力,推理阶段检测到非标准内核开发会回退至旧版Opus。Fable 5.2在High档位下性价比反超Opus 5.5,但在自动化行为审计中表现出较高的“反评测侦察”意识。

    推荐理由:Anthropic发布Fable与Mythos 5.2,展示操作系统构建、物理仿真及硬件设计能力,并披露锁死RSI能力的架构限制。

11月9日周一
  1. 量子位78

    腾讯混元Hy4正式发布:新增原生视觉与电脑操作能力

    腾讯混元Hy4正式从预览版升级为正式版,总参数达770B,首次引入原生视觉理解与计算机使用(CUA)能力。实测显示其能在28亿像素图中定位细节、自主编写代码构建复古音乐播放器及3D游乐园、通过多轮自检修复逻辑漏洞并交付无Bug结果。模型已在腾讯云TokenHub等产品上线,权重近期开源,金融与科研领域表现优异。

    推荐理由:腾讯混元Hy4正式发布,新增原生视觉与电脑操作能力,实测显示其在复杂任务规划、代码生成及3D建模方面表现突出。

  2. arXiv · 机器人与计算机视觉62

    SteeringDRL:一种引导扩散表示学习训练轨迹的方法

    论文研究了扩散自编码器训练中重建质量与解耦程度不一致的现象,提出 SteeringDRL 方法结合门控残差 U-Net 和噪声课程来塑造训练轨迹。实验显示该方法在属性解耦基准上表现具有竞争力且种子敏感性降低,并扩展至空间解耦任务以提升无监督分割性能。

  3. arXiv · 机器人与计算机视觉68

    概率守恒流引导:一种改进扩散与流模型生成质量的新方法

    针对扩散和基于流的生成模型中,Classifier-Free Guidance 等启发式线性组合忽略生成流形几何、导致样本偏离学习流形的问题,本文通过连续性方程分析证明发散项在采样接近数据流形时会结构性爆炸。为此提出自适应流引导(AdaMaG)规则,同时处理发散项与分数平行项,无需额外推理成本即可提升图像生成的真实感并减少伪影。材料为 arXiv 预印本,未提及同行评审状态或开源代码仓库。

  4. arXiv · 机器人与计算机视觉52

    ObjView-Bench:重新思考以物体为中心的视图规划的难度与部署

    ObjView-Bench 是一个用于评估以物体为中心视图规划的新基准框架,旨在解决现有评测混淆物体复杂度、规划难度假设及物理可达性约束的问题。该工作将视图规划评估解耦为三个独立量:作为物体侧属性的全向自遮挡、观测饱和难度以及通过集合覆盖公式定义的协议依赖型规划难度。

  5. arXiv · 机器人与计算机视觉82

    基于流式第一人称 3D 手部动作预测的操纵表征学习方法 SFHand

    论文提出 SFHand,这是一种首个通过流式第一人称 3D 手部动作预测进行表征学习的方法。该方法利用自回归架构从视频和语言指令中连续预测未来手部状态(包括手部类型、2D 边界框、3D 姿态及轨迹),并配备 ROI 增强记忆层以捕捉时间上下文。

    推荐理由:提出通过流式第一人称手部动作预测进行表征学习,开源了配套数据集与模型,在仿真及真实世界操作中均取得领先性能。