跳到正文

内容形态

论文与研究 最新动态

四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。

1,994 条精选近 30 天 1,302 条共收录 10,555 条

更新

精选归档 · 第 53 页

10月26日周一第 1041–1060 条
  1. Hugging Face Daily Papers78

    细粒度信用分配何时助益与何时有害:基于视频编辑的多模态代理强化学习研究

    该论文通过构建四种电影预告片编辑任务(内容选择、叙事排序、粗剪和精剪),探究了多模态代理在长视界规划中的强化学习效果。研究发现,衰减的过程奖励在平均超过 60 步的精剪任务中相比仅结果奖励提升了 45.4%,但在较短任务中收益有限;固定权重的过程奖励会导致过度推理和工具调用冗余,而将其衰减至零可缓解此问题。此外,基于策略的自蒸馏(OPSD)效果不稳定且对特权信息敏感。

    推荐理由:原文分析了细粒度信用分配在多模体强化学习中的利弊,发现过程奖励在长任务中有效但在短任务中收益有限且易导致过度推理。

  2. Hugging Face Daily Papers78

    PhysEvolve:基于验证器的可执行世界因果推理自进化框架

    针对视觉语言模型在动力学与物理因果关系上不可靠的问题,本文提出了 PhysEvolve 框架。该框架通过共享的 VLM 提出可执行的物理世界程序,利用确定性物理引擎冻结并模拟基线及反事实分支(如物体移除、目标坑洞),合成离散任务并通过精确验证反馈更新策略与课程。

    推荐理由:该工作提出基于验证器的自进化框架,利用确定性物理引擎生成反事实数据以训练视觉语言模型进行因果推理。

10月25日周日
  1. Hugging Face Daily Papers78

    Δτ-Bench:推动智能体向动态能力边界演进

    本文介绍了 Δτ-Bench 基准,用于评估大型工具生态系统结构演化下智能体的适应能力。该基准包含 1,588 个多轮任务,覆盖 42 个领域及六个连续生态状态。评测显示最强模型成功率仅为 42.3%,且现有技能学习方法无法随生态演变持续优化。研究据此提出了 Steward 系统,通过增量维护与动态配置实现更高成功率与更低开销。

    推荐理由:该基准评测了智能体在工具生态演变下的适应力,揭示了现有技能学习方法难以持续迁移的瓶颈。

10月24日周六
  1. 量子位80

    高德发布首个基于开放世界行为的全身基座模型λ0

    阿里巴巴集团旗下高德正式发布首个基于开放世界行为的全身基座模型λ0,该模型仅依靠人类行动数据即可让机器人学习移动、姿态与双手操作的全身协调。在SIMPLE仿真基准及多项真机评测中,λ0均取得SOTA表现,数据采集效率约为主流方法的3.4倍,真机任务成功率较最强对比基线提升22.5%。

    推荐理由:高德发布首个基于开放世界行为的全身基座模型λ0,仅凭人类行动数据实现零样本迁移,并开源了相关硬件配置代码与HumanVerse数据样例。

  2. Hugging Face Daily Papers83

    EnvLunch:将环境作为交互学习的免费午餐

    针对智能体数据分析需大量标注任务的痛点,该方法提出 EnvLunch 阶段,利用可执行环境的丰富交互结构生成无标注任务,让模型仅凭最终观测恢复等效轨迹。实验显示,该预热策略使模型在各类下游训练预算下平均超越基线超 9 个点,且仅需少量标签即可达到基线需 8 至 32 倍数据量的准确率。

    推荐理由:该预印本提出利用可执行环境本身作为无标注任务来源,在下游强化学习前进行免标签预热训练,显著降低对人工标注数据的依赖。

10月23日周五
  1. arXiv · 机器人与计算机视觉78

    如何在不遗忘旧能力的前提下为大多模态模型教授新技能

    论文研究如何在向大语言视觉模型(LMMs)教授新技能时避免遗忘先前的通用能力。实验发现,仅更新自注意力投影层或 MLP 门控与上采样层的微调策略,在保持学习能力的同时大幅减少了遗忘现象,性能优于全量微调及多种现有缓解方法。该结论在 LLaVA-OneVision、LLaVA-NeXT 和 Qwen2.5-VL 等多个模型系列上得到验证。代码将公开。

    推荐理由:研究发现仅更新自注意力投影层或 MLP 门控即可在提升新技能学习能力的同时显著抑制遗忘,且无需回放或辅助参数。

  2. arXiv · 机器人与计算机视觉82

    MMVistaReason:面向开放数据与后训练的多模态推理配方

    针对多模态推理中数据质量不均、监督效率低及跨域干扰等问题,作者提出 MMVistaReason (MVR) 这一开放数据后训练配方。

    推荐理由:提出开放数据后训练配方,通过分阶段清洗、难度感知蒸馏及多教师在线蒸馏实现能力整合,在 15 个基准上超越 Qwen3.5-9B 等模型。

  3. arXiv · 机器人与计算机视觉82

    UniMem:为 VLA 统一视觉与文本记忆以应对非马尔可夫任务

    针对现有 VLA 模型在处理需记忆的长程任务时面临的瓶颈,本文提出 UniMem 框架,在单一骨干网络下统一高层视觉/文本记忆与低层控制。该方法利用事件分类器触发更新、关键帧编码器构建密集记忆并采用缓存技术降低开销。

    推荐理由:UniMem 框架统一视觉与文本记忆,在仿真和硬件任务中显著优于固定间隔采样及分层 VLM-VLA 基线。

  4. arXiv · 机器人与计算机视觉87

    ReactiveBFM:面向通用类人机器人全身控制的反应式闭环运动规划

    针对现有行为基础模型仅能执行预定义动作且缺乏环境适应性的问题,论文提出 ReactiveBFM 实时闭环规划控制框架。该方法通过调度前缀采样课程缓解暴露偏差,使生成式规划器从不完美的物理状态中学习误差恢复;引入异步重规划机制解决自回归规划与高频跟踪的延迟失配,结合轨迹分块保证时空流畅执行。

    推荐理由:提出 ReactiveBFM 框架,通过前缀采样缓解暴露偏差并解决规划延迟问题,在 Unitree G1 上实现零样本移动目标抓取与高成功率闭环控制。

  5. arXiv · 机器人与计算机视觉78

    BRIDGE:用于粗粒度掩码局部编辑的背景路由与隔离离散门控

    本文介绍 BRIDGE 方法,通过双路径架构和可学习二值门控,将主体位置嵌入路由至以主体为中心或以背景为锚点的坐标,解决现有掩码编辑器纠缠目标的问题。

    推荐理由:提出双路径架构与离散门控机制,在保持背景的同时提升局部编辑精度。

  6. arXiv · 机器人与计算机视觉78

    HEX:面向跨具身全身操作的人体对齐专家

    HEX 是一个针对全尺寸双足人形机器人的状态中心化框架,旨在通过全身协同控制实现复杂操作。该模型引入人体对齐的通用状态表示以支持异构机身的可扩展学习,并采用混合专家统一本体感觉预测器来建模全身协调与时序运动动力学。

    推荐理由:提出 HEX 框架,利用人体对齐状态表示与专家混合预测器解决全尺寸双足机器人全身协调操作难题。

  7. arXiv · 机器人与计算机视觉85

    无人类演示的跨城市自动驾驶策略学习:NOMAD 方法

    论文针对自动驾驶在新城市部署成本高、需大量人类演示数据的瓶颈,提出 NOMAD(No data Map-based self-play for Autonomous Driving)方法。

    推荐理由:提出 NOMAD 方法,利用自博弈强化学习仅凭地图信息实现跨城市策略迁移,无需目标城市的人类演示数据。

  8. arXiv · 机器人与计算机视觉82

    超越模仿:面向 VLA 模型的强化学习驱动仿真 - 现实联合训练

    针对现有仿真 - 现实联合训练依赖静态演示且泛化受限的问题,本文提出一种基于强化学习的联合训练框架。该方法先利用真实与仿真混合数据进行监督微调预热策略,随后在仿真环境中通过强化学习优化并辅以真实数据辅助损失以锚定策略、防止灾难性遗忘。

    推荐理由:提出基于强化学习的仿真 - 现实联合训练框架,在真实桌面操作任务上实现成功率提升与数据效率优化。

  9. arXiv · 机器人与计算机视觉84

    SpatialMem:面向语言定位与问答的度量对齐长视界视频记忆系统

    SpatialMem 是一个整合 3D 几何、语义和语言的统一可查询表示的记忆系统。该系统基于随意录制的以自我为中心的 RGB 视频重建度量缩放的室内场景,识别结构锚点(墙、门、窗)作为底层支架,并将开放词汇对象节点与证据片段、视觉嵌入及两层描述关联到 3D 坐标,从而实现无需特殊传感器的空间关系推理、语言导向检索和问答。

    推荐理由:该工作提出融合几何与语义的可查询记忆系统,在无需特殊传感器的条件下实现长视频的空间推理与问答。

  10. arXiv · 机器人与计算机视觉78

    RiskCueBench:基于早期风险线索的视频语言模型前瞻性推理基准

    RiskCueBench 是一个新的视频理解基准,旨在评估视频语言模型从早期视觉信号中预测未来风险事件的能力。现有数据集常包含事故本身导致任务过易,而该基准通过标注最早的风险信号片段来模拟真实世界条件。实验结果显示当前系统在此类前瞻性推理上存在显著差距,突显了部署此类模型的挑战。材料为预印本版本,未提及同行评审状态或具体开源许可细节。

    推荐理由:该基准通过标注早期风险信号片段,揭示了现有视频模型在从早期视觉线索预测未来风险事件方面的显著能力差距。

  11. arXiv · 机器人与计算机视觉82

    AlignDrive:面向端到端自动驾驶的横向 - 纵向对齐规划方法

    该论文提出 AlignDrive 框架,通过级联设计将纵向规划从独立预测任务转化为基于路径的条件推理过程。模型侧引入锚点回归设计以条件化纵向预测并降低几何不确定性;数据侧采用规划导向的数据增强策略模拟罕见安全关键事件。

    推荐理由:提出级联框架将纵向规划转化为路径条件推理,在 Bench2Drive 基准上实现 SOTA 性能并显著改善协调性与安全性。

  12. arXiv · 机器人与计算机视觉83

    Sensorimotor Alignment:具身策略成功的柏拉图代理

    针对机器人基础模型评估成本高的问题,本文提出 Sensorimotor Alignment(S^2),一种无需训练的离线指标,用于衡量模型感官表征与物理运动几何结构的对齐程度。研究发现 S^2 与下游机器人任务成功率呈正相关,可作为低成本代理优先筛选模型或识别有潜力的视觉语言模型骨干网络。该工作将柏拉图表示假设扩展至具身智能领域,为理解模型成功原因提供表征层面的解释。

    推荐理由:提出无需训练的离线指标 S^2,通过感知表征与物理运动几何的对齐程度预测机器人任务成功率。

  13. arXiv · 机器人与计算机视觉82

    OpenTac:一种用于可定制、可扩展且可迁移的3D触觉感知的开放生态系统

    论文介绍了OpenTac,这是一种新型传感器及其全栈生态系统,旨在支持高度定制化、可扩展且在下游机器人控制与学习中易于部署的触觉皮肤。核心贡献包括开发了一种具有结构化变形覆盖层的可扩展电阻式触觉皮肤,能将切向载荷转化为空间变化的压力;以及提供一款高度可定制的传感器设计工具,能从2D轮廓或抽象文本描述自动生成制造文件。

    推荐理由:作者开源了可定制触觉传感器的硬件、CAD设计工具及仿真生态,并展示了在多种机器人上的部署与性能提升。

  14. arXiv · 机器人与计算机视觉82

    OmniRay:基于复合射线场的相机无关单目 3D 重建

    论文提出 OmniRay 模型,通过单调径向基底、球谐残差和自由形式残差的组合表示射线场,实现无需相机参数的单目 3D 重建。实验表明该方法在不同相机配置下达到新的最先进水平。材料为 arXiv 预印本,未提及同行评审状态或开源代码链接。

    推荐理由:该工作提出分层射线场架构,解决针孔与广角相机几何差异问题,为单目无相机参数重建提供新基线。