跳到正文
10月22日周四
  1. arXiv · 机器人与计算机视觉78

    HyperDrone:百万帧每秒的仿真到现实转移技术

    HyperDrone 是一个专注于高性能批量渲染的四旋翼模拟器,其渲染速度比现有最先进方案快 20 倍以上。该系统结合优化的多旋翼动力学与 HyperLux 光追引擎,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,完全在 GPU 上运行。

    推荐理由:HyperDrone 结合多旋翼动力学与 HyperLux 光追引擎,在消费级 GPU 上实现百万帧每秒的渲染速度,支持将纯仿真训练的视觉策略迁移至真实四旋翼。

  2. arXiv · 机器人与计算机视觉73

    COWBOY:一种可扩展的仿真到现实框架,用于学习上下文驱动的全身操作

    针对移动操作器需适应物体及空间环境的挑战,本文提出 COWBOY 框架,利用向量化环境感知全身控制器处理千种场景下的到达与避障,再训练局部 RL 专家进行物体交互,最终蒸馏为单一视觉策略以控制移动基座、机械臂、灵巧手和主动相机。该策略能从点云观测自动适应场景几何并执行操作。材料为预印本论文,未报告真实机器人部署结果或具体性能指标。

  3. arXiv · 机器人与计算机视觉54

    基于数据驱动的乐谱符号定位用于手写音乐合成

    针对手写乐谱标注稀缺问题,本文提出用数据驱动方法优化合成乐谱的符号布局。研究从 MUSCIMA++ 和 OmniOMR 提取分布发现硬编码规则存在系统性偏差,替换为经验均值可将定位 RMSE 降低最多 60%;进一步训练图神经网络预测上下文偏移,使茎干和连线的 RMSE 再降 50% 至 85%。

  4. arXiv · 机器人与计算机视觉73

    inr2action:一种用于机器人长程任务回忆与动作生成的神经隐式表示框架

    该论文提出 inr2action 方法,利用共享的元学习初始化拟合机器人操作视频,将每个独立经验编码为固定大小的权重增量(delta)作为记忆。该方法通过投影层将权重增量映射为 token 嵌入,进而条件化语言模型进行问答和解码器执行关节命令回归,无需在查询时检索帧。实验显示,该方法在 RoboMME 基准上超越随机猜测,且证明了元学习初始化对于编码内容的关键作用。

  5. Hugging Face Daily Papers75

    Harness Scaling:一种用于通用型智能体强化学习的扩展维度

    该论文提出Harness Scaling这一新维度,旨在解决现有智能体系统仅依赖单一固定执行器(harness)导致的特化与迁移受限问题。研究通过构建因子化解耦的执行空间、选择平衡的因子覆盖子集以及组织跨配置训练,实现了从单点训练到多样化配置的扩展。

10月21日周三
  1. 量子位68

    生数科技开启Motubrain 2.0训练全流程公开直播

    生数科技世界模型团队于10月21日开启Motubrain 2.0训练全流程公开直播,计划持续半个月。此次直播涵盖预训练、后训练、Agent任务执行及递归自我改进四个环节,旨在打开具身模型训练的“黑盒”,向公众展示从训练到能力迭代的全过程,并探讨规模化训练与跨场景泛化等关键问题。相关研究仍处于探索阶段,具体效果需后续验证。

  2. NVIDIA Blog · Physical AI75

    NVIDIA 发布 Nemotron 3.5 及 Kumo Cosmos 等开源模型系列

    NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。

    推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。

  3. NVIDIA Technical Blog12

    NVIDIA OpenShell 参考架构如何在大尺度下安全治理 AI Agent 工作负载

    NVIDIA OpenShell 参考架构旨在解决自主智能体在长周期执行复杂任务时面临的累积风险,防止其下载代码、构建新工具或获取额外权限。该架构通过定义明确的安全边界与治理机制,确保智能体在访问文件、工具及互联网并协作生成其他智能体时,不会触及底层基础设施的敏感部分。

  4. Hugging Face Daily Papers68

    利用自我进化提升长周期终端代理的可靠性:RiseHarness 框架

    针对长周期任务中代理单次成功但重复运行失败的稳定性问题,论文提出了 RiseHarness 框架。该框架在固定模型权重的前提下,通过翻转同一配置下的成功与失败轨迹,结合运行时监控的内部痕迹分析模型动作与命令执行、反馈及上下文管理的交互机制。

  5. arXiv · 机器人与计算机视觉82

    基于赤字驱动的分层采集构建 STRATA-S12:一个用于自监督学习的开源 SAR-光学语料库

    该研究针对合成孔径雷达与光学卫星数据配准中存在的地理缺失问题,提出了一种名为 DDSA 的算法,通过分层配额控制、严格时间配对及人机协同修复机制来优化数据采集。实测显示,该算法在部分预算下即可覆盖所有分层,且修复循环提供了近四成的有效样本对。作者公开了 STRATA-S12 语料库及其元数据侧车,预注册线性探针检查证实其适用于自监督预训练任务。

    推荐理由:作者提出一种分层采集算法以解决多模态遥感数据的地理缺失问题,并公开了包含修复机制的自监督预训练语料库。

  6. arXiv · 机器人与计算机视觉78

    $S^3$: 谱域零空间交换让推理模型更高效

    论文提出S3(Spectral Null-Space Swap)方法,这是一种无需训练的成对检查点组合策略。研究指出推理能力的核心存在于非思考模型主导奇异方向投影的零空间中,移除该分量可大幅提升效率而不损害准确率。实验在2B至30B参数量的稠密及MoE架构上验证,相比完整思考模型,S3平均降低27.4%推理token开销,同时整体任务准确率提升1个百分点(如在HMMT25上准确率达+8.3%)。

    推荐理由:提出S3方法,通过交换非思考与思考模型的零空间权重,在推理效率提升27.4%的同时保持准确率。

  7. arXiv · 机器人与计算机视觉82

    Kamino:一种支持运动学闭环的高性能 GPU 物理仿真求解器

    论文介绍了 Kamino,这是一个基于 NVIDIA Warp 和 Newton 框架实现的 GPU 物理求解器,旨在解决复杂机械系统中强耦合的运动学与动力学约束问题。

    推荐理由:该工作提出基于 GPU 的刚性多体物理求解器 Kamino,原生支持运动学闭环与异构机器人批量仿真,为强化学习策略训练提供了高保真环境。

  8. arXiv · 机器人与计算机视觉78

    GALA:一种用于可控物体布置的几何感知语言模型

    针对现有方法依赖简化表示而忽视细节几何的问题,该工作提出 GALA 模型,通过显式点云感知实现细粒度支撑与包含约束推理。模型采用两阶段训练策略对齐几何与文本模态,并在多源场景数据集上显著优于基线。此外,团队开发了基于模型的文本驱动场景生成智能体管线,相关数据集与代码将开源。

    推荐理由:该工作提出融合点云感知的几何语言模型,解决细粒度放置约束推理难题,并开源多场景数据集与计划 - 放置 - 验证智能体管线。

  9. arXiv · 机器人与计算机视觉49

    HighwayEnv 测试床揭示经验记忆对闭环 LLM 驾驶智能体的帮助有限

    研究通过受控评估发现,在 HighwayEnv 测试床(1Hz, gpt-4o-mini)上,经验记忆的收益主要源于最佳预热池抽取,而非检索机制本身。仅含 15 token 的谨慎指令即可达到碰撞合并上限,且基线端口质量缺失会导致结论反转。团队已发布经审计的测试床、端口及缓存数据供验证。

  10. arXiv · 机器人与计算机视觉42

    CCT-GS:一种兼容视频编解码器的 3D 高斯泼溅压缩框架

    CCT-GS 提出了一种针对 3D 高斯泼溅(3DGS)的通用变换学习框架,通过引入 LoRA 场景适应机制解决非直流球谐系数统计差异问题。在 MPEG GSC 序列实验中,该框架平均比特率降低幅度达 51.30%,显著优于现有视频编码基线。论文已被 IEEE VCIP 2026 会议接收,代码与数据暂未提及开放许可。

  11. arXiv · 机器人与计算机视觉62

    CoGaussian:一种基于开放词汇的高斯协同 3D 场景理解框架

    论文 CoGaussian 针对现有协同感知方法依赖密集体素标注且局限于预定义类别的问题,提出了一种基于基础模型对齐的稀疏 3D 高斯表示框架。该方法将场景表示为稀疏 3D 高斯集合,用于在多智能体间高效通信与融合几何及语义信息。在 Semantic-OPV2V 基准测试中,该方法的性能优于现有的开放词汇单智能体方法,验证了开放词汇协同场景理解的有效性。

  12. arXiv · 机器人与计算机视觉48

    Auto-Director:利用多智能体协作实现自动驾驶视频编辑

    Auto-Director 是一个工具增强的多智能体框架,通过规划、素材、编辑和评论四个智能体模拟专业后期流程。该工具在 VEdit-Bench 基准测试中显著优于基线方法,在叙事逻辑、事实准确性等五个维度上均表现更佳。研究已接受于 MMM 2027,代码与权重尚未开放。

  13. arXiv · 机器人与计算机视觉73

    FIT-MAC:一种用于增强 VLA 模型鲁棒性的故障感知闭环多智能体框架

    论文提出 FIT-MAC 框架,旨在解决视觉语言动作(VLA)模型在任务条件偏离标准设置时可靠性下降的问题。该框架通过引入推理时间控制层,利用规划、接地、验证和修正四个智能体协同工作:解析指令并绑定视觉目标,区分执行失败类型,并在必要时路由至重绑定或受控抓取等干预策略;若无故障则默认使用预训练 VLA 模型。

  14. arXiv · 机器人与计算机视觉42

    AI 流水线重用保障证据的效度条件与失效关闭发布门研究

    该研究明确定义重用早期治理控制结果的效度条件,并验证了基于 Ed25519 数字签名的“失效关闭”发布门能阻断九成操纵场景。对 714 个公开数据版本控制流水线的回放显示,仅按声明依赖重用结果可避免 83.4% 的执行阶段,但仍有 3.3% 的提交因未声明依赖导致重用错误代码或配置。

  15. arXiv · 机器人与计算机视觉78

    单目头显相机几乎足够:无需电子的 UMI 手套由单一移动相机标定与观测

    该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。

    推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。

  16. Hugging Face Daily Papers78

    Foundation4D:面向自动驾驶的统一感知与重建模型

    NVIDIA 团队在 arXiv 发布 Foundation4D,这是一个统一的前馈模型,用于从多摄像头驾驶视频中估计几何、进行 3D 检测、生成语义占用和 Gaussian 重建。

    推荐理由:该预印本提出统一几何估计与重建模型,并开源基准数据集,为无激光雷达场景提供深度与语义占用先验。

10月20日周二
  1. arXiv · 机器人与计算机视觉82

    UniW(A)M:一种用于世界与世界 - 动作模型的统一混合专家框架

    论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。

    推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。

  2. arXiv · 机器人与计算机视觉82

    LynxScenes:面向户外轮足机器人的大规模现实世界基准数据集与评测套件

    arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。

    推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。

  3. arXiv · 机器人与计算机视觉42

    Re:Cognize 框架与 VOUCH 机制实现漫画角色开放集重识别

    Re:Cognize 框架提出在故事演进中动态学习角色身份,解决现有评估固定身份集的局限。实验显示模型自构建图库会导致性能下降,而无需额外参数的 VOUCH 机制仅在页面提供证据时更新记忆,恢复了完美标签下三分之一至三分之二的提升效果。该方法论聚焦已遇角色的身份维持,并在 NeurIPS ED Track 2026 被接收。

  4. arXiv · 机器人与计算机视觉72

    MINER:一种用于稀有物体检索的无训练多裁剪推理增强方法

    针对冻结双编码器在复杂场景中检索微小或低显著性物体时表现下降的问题,论文提出无需训练的推理框架 MINER。该方法通过引入少量区域级嵌入库和修正相似度的重评分机制,弥补全局图像嵌入对局部视觉证据的不足。研究构建了基于 Flickr30K 和 MS COCO 高杂乱子集的基准 ROCS,并在 CLIP、SigLIP 等模型上验证了其在标准分割及新基准上的提升效果。

  5. arXiv · 机器人与计算机视觉72

    SGM-SLAM:用于数据高效分布式 SLAM 的场景图匹配方法

    论文介绍了一种针对多机器人在无 GPS 和通信受限环境中运行的数据高效分布式 SLAM 框架。该方法利用融合的 RGB-LiDAR 点云构建包含语义分割层和离散有界物体层的场景图,并通过与邻近机器人交换和匹配物体数据来协同执行场景图匹配。研究通过多步数据交换和优化过程最大化通信效率,并在包含有限轨迹重叠、视角变化、重复结构和视觉退化条件的真实世界数据集上验证了方法的有效性与通信效率。

  6. arXiv · 机器人与计算机视觉68

    MAGS-SLAM:首个仅用单目 RGB 的多智能体高斯泼溅 SLAM 框架

    论文提出了 MAGS-SLAM,这是首个仅依赖单目 RGB 摄像头的多智能体 3DGS SLAM 框架,旨在实现低成本机器人平台的协作场景重建。该方法让每个智能体独立构建局部单目高斯子图并传输紧凑的子图摘要,结合几何与外观感知的闭环验证及占用感知的高斯融合,在无需主动深度传感器的情况下实现了全局一致的重建。

  7. arXiv · 机器人与计算机视觉73

    TempoMoE:识别并引导快慢思考专家以实现高效多模态推理

    该论文提出 TempoMoE,一种无需训练的框架,通过 tempo-contrastive routing analysis 识别快慢思考专家并动态调整路由权重以适应样本难度。在 Kimi-VL、Qwen3-VL 和 ERNIE-4.5-VL 上评估显示,相比 Vanilla 方法,TempoMoE 在保持准确率提升的同时显著减少输出 Token 数。

  8. arXiv · 机器人与计算机视觉48

    SWIFT:通过目标外推实现自引导弱到强扩散模型训练

    Swift 是一种利用冻结弱去噪器进行目标外推的自引导训练方法,无需推理开销即可提升强模型性能。在 ImageNet-256 配置下,该方法用约一半的训练算力超越基线最佳 FID,RAEv2 无指导时 FID 达 1.15、有指导时为 0.99。实验涵盖 CIFAR-10 和 ImageNet-256,证明了目标外推在高效单模型推理下的有效性。

  9. arXiv · 机器人与计算机视觉59

    VLA-Rolling:通过自适应动作复用实现更少去噪步与更好控制

    该研究提出 VLA-Rolling 框架,利用视觉语言动作(VLA)模型生成的动作尾部作为初始化,替代从头生成噪声的方式。在冻结底层 VLA 模型的情况下,该方法在 LIBERO、MetaWorld 等六个基准的十六对模型组合中均降低了推理成本,最高提速 1.48 倍,并在十四对中提升成功率最多 15.08 个百分点。项目代码与资源已公开。

  10. arXiv · 机器人与计算机视觉65

    无编码器多模态大模型的隐式编码器分析

    该研究实证分析了 Gemma-4 12B 和 Inkling-Small 两个近期提出的无编码器多模态大模型,发现其早期层实际上充当了“隐式编码器”,能以跨模态上下文不变的方式编码音频和视觉输入。研究还表明,在这些早期层中独立对模态进行编码,从第一层开始联合编码能达到相同的准确率。通过逐层探测分析,发现这些隐式编码器的行为与几种流行的专用编码器模型相似。