跳到正文

内容形态

论文与研究 最新动态

四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。

1,994 条精选近 30 天 1,302 条共收录 10,555 条

更新

精选归档 · 第 27 页

11月5日周四第 521–540 条
  1. arXiv · 机器人与计算机视觉82

    Correct Robots Before They Make Mistakes: Proactive Human-in-the-Loop Intervention via Preference Learning

    该论文提出了 PHIL(Proactive Human-in-the-Loop)框架,旨在通过偏好学习实现主动策略修正与后训练。系统允许操作员在 XR 界面预览策略预测的未来运动并在接管前进行干预;被拒绝的策略预测会与同一状态下执行的修正动作片段配对,用于鼓励策略偏好这些修正。

    推荐理由:PHIL 框架通过 XR 界面预览策略预测并允许人工干预,利用偏好学习将修正动作反馈给策略,使扩散策略和 X-VLA 在四项真实任务上的成功率分别提升约 26% 和 19%,且减少了不必要的恢复行为。

  2. arXiv · 机器人与计算机视觉78

    ELA:一种通过潜在动作从视频演示进行端到端学习的框架

    ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。

    推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。

  3. arXiv · 机器人与计算机视觉78

    基于认识不确定性的 3D LiDAR 点云语义分割模型训练效果研究

    Krishnakumar N 和 Jaya Sreevalsan-Nair 在 arXiv 发布论文,研究了将认识不确定性作为特征输入或损失函数权重在 3D LiDAR 点云语义分割中的不同作用。

    推荐理由:该工作探索了认识不确定性在语义分割中的多重角色,发现其不仅能提升精度,还能恢复基线模型无法预测的少数类。

  4. arXiv · 机器人与计算机视觉85

    Ctrl-F:一种用于人形机器人位姿与操作交互的力接口框架

    论文提出了 Ctrl-F 分层运动 - 力控制框架,旨在解决传统运动跟踪器仅知目标位置而不知如何与环境交互的问题。该框架包含统一运动 - 力控制器和高层在线力规划器,能在每个接触点(如手或脚)施加指定的三维力。

    推荐理由:提出 Ctrl-F 框架,通过显式力指令增强运动跟踪,在硬件上实现大负载拖拽、推举及踢击等盲法基线无法完成的任务。

  5. arXiv · 机器人与计算机视觉82

    SO3brep:一种基于 CAD 边界表示的 SO(3)-等变学习图神经网络

    针对 CAD 模型非规范朝向导致现有网络鲁棒性不足的问题,本文提出 SO3brep,这是一种在 B-rep 面邻接图上运行的 SO(3)-等变图神经网络。该方法通过 Wigner D-矩阵将局部特征映射至共享帧,并利用 Clebsch-Gordan 张量积耦合相邻面方向以保留相对取向,确保输出对 SE(3) 变换不变。

    推荐理由:提出 SO3brep 图神经网络,利用 Wigner D-矩阵与 Clebsch-Gordan 张量积在 B-rep 上实现 SE(3) 不变性,在少样本 CAD 分割任务中表现最优。

  6. arXiv · 机器人与计算机视觉85

    Jev with Foresight:通过语言世界模型实现安全的语言引导自动驾驶

    arXiv 论文 Jev-AD 结合类型化决策模型 Jev 与语言世界模型,后者预测候选动作下周边车辆未来两秒的运动以提供预见性后果。在仿真高速合流(500 车集)中,碰撞率从 26.0%降至 2.4%,自由指令意图达成率达 93%;在回放真实 NGSIM 轨迹(500 集)中,碰撞率从 48.2%降至 2.8%,世界模型能预见 93%的危险动作。

    推荐理由:该工作提出语言世界模型辅助决策,在仿真与真实轨迹回放中显著降低碰撞率并提升意图达成率。

  7. arXiv · 机器人与计算机视觉78

    Omni-Encoder:基于共享 SigLIP2 的多模态编码器研究

    论文介绍 Omni-Encoder,这是一种将图像、视频、音频和音视频输入统一处理于单个 SigLIP-2 Vision Transformer 中的通用多模态编码器。

    推荐理由:该工作提出 Omni-Encoder,通过共享参数与联合优化实现图像、视频、音频及音视频的统一编码,在 16 个基准测试中表现优异。

  8. Hugging Face Daily Papers78

    从像素到动作:迈向原生视觉语言动作策略

    这篇论文介绍了 NEO-VLA 框架,主张视觉语言动作模型不应依赖固定的视觉编码器输出,而是让图像 token 在骨干网络中随语言共同演化。实验表明,这种架构在多种操作设置和分布偏移下比传统编码器方案更鲁棒,且关键动作信号往往在最终视觉表示之前达到峰值。材料为预印本版本,代码链接已提供。

    推荐理由:该预印本提出无编码器架构,证明直接访问视觉计算层级能提升操作鲁棒性。

11月4日周三
  1. Hugging Face Daily Papers78

    ToolSpace:面向长程智能体的工具中心化环境合成扩展方法

    论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。

    推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。

  2. arXiv · 机器人与计算机视觉78

    PyRUA-DataFarm:LLM Agent 作为高效遥操作代理以生成真实可用机器人数据

    PyRUA-DataFarm 利用 LLM Agent 接收任务请求与一次校准数据,在仿真中自动重建场景、专家控制器及成功判定器,并通过视频模型渲染多视角合成视频。

    推荐理由:提出用 LLM Agent 自动构建仿真环境与视频渲染,生成低成本且真实可用的机器人训练数据。

  3. arXiv · 机器人与计算机视觉84

    YANAMI:首个面向多轮状态交互的大规模多模态数据集与基准

    针对现有统一多模态数据集缺乏多轮状态跟踪的问题,作者发布了 YANAMI-400K 数据集和 YANAMI-Bench 评测基准。YANAMI-400K 包含 40 万条多轮对话及超 200 万张图片,覆盖图像融合、编辑、世界建模与视觉推理等场景;YANAMI-Bench 则通过 400 个案例联合评估状态理解与视觉实现能力。

    推荐理由:YANAMI 数据集填补了多轮状态交互评测空白,实验显示微调 BAGEL 模型在图像编辑与生成任务上性能提升显著。

  4. arXiv · 机器人与计算机视觉84

    Möbius:一种统一运动 - 语言模型,桥接理解与生成

    arXiv 论文介绍 Möbius,旨在构建能同时理解、生成和编辑人类运动的统一框架。该模型将扩散过程引入多模态表示空间,使干净运动、噪声运动和文本共同参与共享注意力机制,且直接操作连续帧级原始运动数据,无需离散分词或预训练 VAE。在 HumanML3D 数据集上达到最先进水平,扩展至 17 亿参数和 1700 小时运动数据后证明有效且可扩展。

    推荐理由:该工作提出统一运动语言模型,将理解与生成融合于连续帧级表示,无需离散分词或预训练 VAE。

  5. arXiv · 机器人与计算机视觉82

    Route Anything:通用 AI 系统中的模型与策略路由研究

    论文提出 Route Anything 统一框架,通过构建涵盖语言、视觉、视频、语音及机器人操作的跨模态基准矩阵(含 37.4 万次运行数据),研究了在质量与成本权衡下的最优路由机制。实验显示,基于输入的 oracle 路由比最佳固定候选者提升 5.4 分,学习到的路由器进一步提升性能并减少 24% 的策略时间,平均效率提升 8.82 倍。

    推荐理由:构建了跨模态任务路由框架,证明动态策略选择比固定候选者更优且能显著降低计算成本。

  6. arXiv · 机器人与计算机视觉82

    超越可见性:基于稀疏 LiDAR 的实时表面可达性场

    本文提出一种名为 Accessibility Field 的方法,利用流式稀疏 LiDAR 数据实时更新每一点的表面物理可达性标签。该方法通过 GPU 评估预计算的工具体积核与不同接近姿态下的碰撞情况,无需先验场景模型即可在工作站和 Jetson Orin 边缘设备上实时运行。

    推荐理由:提出基于稀疏 LiDAR 的实时表面可达性场方法,在合成基准上 F1 达 90.8%,能区分可见但不可触及的表面。

  7. arXiv · 机器人与计算机视觉78

    从感知到决策:多模态大模型中听觉与视觉感知的信息流研究

    该论文首次系统揭示了视听大模型(AVLLMs)内部音频和视觉信号如何影响最终预测的路径机制。研究发现,在音视频输入配置下,模型遵循既有的顺序信息流路径;而在多重交错输入设置下,路由会转向不同的并行流。

    推荐理由:首次揭示视听大模型内部信息流路径,证实丢弃已传递的视听 token 可提升推理效率。

  8. arXiv · 机器人与计算机视觉78

    基于接触锚定重定向与残差策略学习的灵巧机器人操作研究

    arXiv 预印本论文提出一种从人类演示学习灵巧操作的框架,核心在于提取演示中的接触结构而非关节运动。该方法通过模拟 MANO 手模型恢复接触力,利用独立于手部形态的接触锚定重定向技术将数据迁移至不同机械手,并采用残差强化学习策略修复动力学可行性。

    推荐理由:该工作提出无需真实机器人训练数据的三阶段流程,利用接触结构锚定将人类演示迁移至不同形态的机械手并恢复物理一致性。

  9. arXiv · 机器人与计算机视觉78

    CleanVideo:面向文本到视频扩散模型的自适应概念擦除

    CleanVideo 是一种选择性擦除框架,旨在从预训练生成模型中消除不需要的视觉语义而不损害其通用效用。针对目标概念在帧和去噪步骤间逐渐出现且变化的特点,该框架利用三模态门控机制处理时空特征、时间步信号和文本语义,决定干预的位置、时机及是否执行,引导擦除内容向自然替代概念过渡并保留非目标内容。

    推荐理由:提出 CleanVideo 框架,通过三模态门控机制在视频扩散模型中实现概念擦除,保持时空连贯性。

  10. arXiv · 机器人与计算机视觉78

    仅凭位置比较轨迹:基于曲率的时间对齐与漂移误差度量

    针对机器人领域缺乏高精度参考轨迹且现有评估工具依赖未公开假设的问题,本文提出一种标准化的轨迹评估协议。该方法结合基于曲率信号的新型时间对齐技术与按行进距离归一化的误差指标,显式量化了时间同步、采样对齐及外参校准的影响,旨在提升状态估计与 SLAM 评估的严谨性与可复现性。

    推荐理由:提出基于曲率信号的时间对齐与归一化误差指标,解决状态估计评估中假设不明导致的误导问题。

  11. arXiv · 机器人与计算机视觉78

    More Accurate, Less Human: Gestalt Grouping in Vision Models

    该研究引入行为测试电池,基于四项格式塔分组任务(标记颜色异类、颜色序列计数、轮廓识别、物体异类)对人类感知数据进行评分。作者对 45 个模型进行了评估,发现封闭基座模型在人类对齐度上显著低于其基准准确率所暗示的水平。该工作为可视化研究提供了无需新用户研究的复用标尺,用于审计进入流程的视觉模型是否按人类观众的方式组织视觉内容。

    推荐理由:提出行为测试电池,用人类感知数据评估视觉模型在格式塔分组任务上的对齐度。