跳到正文

内容形态

论文与研究 最新动态

四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。

1,994 条精选近 30 天 1,302 条共收录 10,555 条

更新

精选归档 · 第 36 页

11月3日周二第 701–720 条
  1. arXiv · 机器人与计算机视觉78

    为什么 Koopman 结构无法帮助可微世界模型进行类人机器人全身跟踪

    该论文测试了将 MLP 世界模型替换为具有升维状态空间线性动力学的 Koopman 结构后,对 Unitree G1 全身体跟踪策略的影响。实验发现 Koopman 结构并未带来性能提升(返回精度持平甚至略低),且训练速度变慢约 15%。研究指出,由于策略动作跨越曲率区域,仿射模型仅在策略操作点切线处准确,而 MLP 能直接读取动作信息,因此在固定状态下表现更好。

    推荐理由:实验表明在 Unitree G1 全身体跟踪任务中,Koopman 线性结构并未提升可微世界模型性能,MLP 仍是更优选择。

  2. arXiv · 机器人与计算机视觉78

    重审长视频生成中的历史上下文:Commit Forcing 方法提升一致性

    该研究指出在自回归视频生成中,用于去噪的历史上下文若直接参与提交编码会损害后续生成的主体一致性。作者提出 Commit Forcing 这一无需训练的规则,强制每个块仅读取前序块的 KV 缓存,形成链式依赖。实验显示该方法在 60 秒至 240 秒视频上均提升了质量与总分,盲测中主体与场景一致性胜率分别达 83.5% 和 82.9%。

    推荐理由:提出 Commit Forcing 训练规则,在长视频生成中通过限制历史上下文读取顺序提升主体一致性与质量。

  3. arXiv · 机器人与计算机视觉78

    UI-UG 2:基于细粒度监督与强化学习的移动端界面理解与生成模型

    论文发布 UI-UG 2,这是一个参数量为 4B 的多模态大语言模型(MLLM),旨在推进移动端界面的理解与生成功能。该模型构建了包含 RICO、VINS 等数据源的多元理解语料库,并采用前端对齐的 80 类两级界面分类法。

    推荐理由:该工作提出 UI-UG 2,通过前端对齐的细粒度监督与在线强化学习提升移动端界面理解与生成能力。

  4. arXiv · 机器人与计算机视觉78

    Learning to Group and Order:面向视觉的多模态大模型跨实例自监督强化学习

    论文提出 GO-SSL 框架,通过跨实例拼图任务将未标注数据转化为可验证的监督信号,训练模型在分组的同时恢复内部顺序。该方法涵盖图像、3D 深度及视频时序排序,在多个基准测试中均优于基线模型,显著提升了细粒度感知与空间理解能力。代码已开源。

    推荐理由:提出跨实例拼图自监督强化学习框架,提升多模态大模型细粒度感知与空间理解能力。

  5. arXiv · 机器人与计算机视觉78

    UniCaMo:统一相机与运动控制的视频扩散模型框架

    UniCaMo 是一个用于图像和文本生成视频的扩散模型框架,能够联合控制相机与物体运动。该方法基于参考图像、文本提示、稀疏 3D 物体轨迹及 3D 相机轨迹构建运动一致的输入噪声,结合参考衍生的噪声传播与新区域球高斯噪声表示,无需重建未观测场景几何即可提供有效的运动先验。

    推荐理由:提出无需修改架构的联合相机与物体运动控制框架,通过轻量微调实现视频扩散模型的先进运动可控性。

  6. arXiv · 机器人与计算机视觉78

    旧数据非谬:用于交互式视频世界模型的有效时间记忆

    该研究针对交互式视频世界模型在撤销动作后无法正确读取当前状态的问题,提出了一种名为 ReDate 的方法。该方法利用智能体行动日志中的有效时间戳对检索到的帧进行标记,使冻结的生成器能区分新旧视图而无需重新训练。

    推荐理由:提出基于有效时间戳的 ReDate 方法,无需训练即可解决交互式视频世界模型在撤销操作后的状态读取错误问题。

  7. arXiv · 机器人与计算机视觉78

    SceneBound:流式三维重建模型应记住多少?

    论文提出 SceneBound,一种无需训练的规则,用于决定流式三维重建模型何时写入关键帧。该规则仅在预测相机位姿距离所有存储的关键帧超过固定半径时写入,使关键帧数量与访问位姿的覆盖数成常数倍关系。在 CUT3R 和 StreamVGGT 等模型的循环状态或 KV 缓存中,该方法实现了评估的训练免费规则中的最低平均轨迹误差,且关键帧增长仅占 3% 至 6%。

    推荐理由:提出无需训练的 SceneBound 规则,通过几何覆盖数控制流式三维重建模型的记忆量与漂移。

  8. arXiv · 机器人与计算机视觉78

    MOST:面向长视界移动操作的物体状态与任务进度记忆

    论文提出MOST框架,将多视角观测压缩为时间令牌,并通过监督物体状态和子任务进度来结构化记忆,直接条件化动作生成。该方法在RoboCasa365、RoboCasa-Long基准及真实机器人实验中均优于Xiaomi-Robotics-1模型,平均成功率从65.9%提升至72.1%,长任务最大进度从20.83%提升至42.22%,真实世界成功率从6.66%提升至43.33%。

    推荐理由:提出MOST框架,通过压缩多视角观测为时间令牌并监督物体状态与子任务进度,在长视界移动操作中优于现有最先进模型。

  9. arXiv · 机器人与计算机视觉85

    STEER:面向自动驾驶的路由感知自适应推理方法

    针对视觉语言动作模型在自动驾驶中过度使用思维链导致计算开销大且可能降低规划性能的问题,论文提出了 STEER 策略。该方法无需场景难度标注,通过路由不确定性感知采样和对齐环境奖励的跨路由优势信用分配,实现从直接响应到复杂推理的动态切换。实验表明,STEER 在 NAVSIM v1/v2 基准上兼具高规划质量与高效的推理效率前沿性能。

    推荐理由:提出无需场景难度标注的自适应推理策略,通过路由不确定性与环境奖励优化规划性能。

  10. arXiv · 机器人与计算机视觉78

    Learning from an Imitable Teacher: Competition Solution for the MetaFine Challenge

    该论文介绍了 Team Friday 在 MetaFine Open Competition(CoRL 2026)中的二名解决方案。团队未微调大模型,而是为每个任务训练了独立的 19M 参数策略与指令分类器,数据由模拟器中的特权脚本化教师生成。

    推荐理由:报告提出通过设计可模仿的虚拟教师来纠正学生策略,在 MetaFine 挑战赛中实现分数翻倍。

  11. arXiv · 机器人与计算机视觉78

    Roz:世界模型潜变量的味觉测试

    论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。

    推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。

  12. arXiv · 机器人与计算机视觉84

    低参数 regime 下视觉语言动作模型的行為引导

    论文研究了如何用极低容量(8 至 384 个可训练参数)的 TinyLoRA 适配器对预训练的 OpenVLA-OFT 7B 策略进行行为引导,使其在保持预训练能力的同时适应如“举高物体”等风格偏好。

    推荐理由:该文展示了仅用 256 个可训练参数即可通过微调改变 VLA 执行风格,同时保留大部分预训练能力。

  13. arXiv · 机器人与计算机视觉81

    WorldSketch:用于零样本移动操作的草图化世界模型

    论文提出 WorldSketch 新范式,让视觉语言模型作为智能体主动查询感知工具构建并验证最小运动学世界模型,仅捕捉任务相关对象及其交互几何与可能运动,再由几何规划器联合优化接触与全身运动。

    推荐理由:提出由 VLM 构建最小运动学世界模型的范式,在 RoboCasa 等基准实现零样本成功率达 91%,显著优于现有基线。

  14. arXiv · 机器人与计算机视觉78

    视频推理中 Best-of-N 验证器的选择增量与解题能力分离研究

    针对长视频复杂问答任务,文章指出标准 Best-of-N 流程的头号指标混淆了验证器的选择增益与自身解题增益。研究在五个基准上测量了选择增量(SI),发现弱验证器主要依赖候选答案提升,而强验证器则能超越多数投票;同时揭示了部分弱验证器存在按选项列表位置而非视频内容选择的失败模式。代码已开源。

    推荐理由:文章分离了验证器在 Best-of-N 流程中的选择增量与自身解题能力,揭示了弱验证器依赖候选答案而强验证器超越多数投票的规律。

  15. arXiv · 机器人与计算机视觉78

    直线并非相机位姿:对短片段位姿基准的审计

    Xinyi Shi 在 arXiv 发布论文,指出绝对轨迹误差(ATE)作为相机运动标准指标的局限性。研究发现,在恒定速度假设下,简单将预测轨迹拉直反而能降低 ATE 得分,且该指标忽略相机朝向导致几何评估失真。作者提出一种修正后的位姿锚定 ATE 方案,能更准确地追踪重投影误差并区分不同模型性能。代码、预测结果与数据将在后续发布。

    推荐理由:该研究指出绝对轨迹误差指标存在缺陷,提出一种修正方案以更好评估几何精度。

  16. arXiv · 机器人与计算机视觉78

    Spoofing the Latent State:不可察觉的目标图像攻击破坏 LeWorldModel 的规划能力

    该论文研究了联合嵌入预测架构(JEPAs)在 LeWorldModel 中的测试时间鲁棒性。分析发现,物体状态主导了潜在距离,但编码器无法轻易隔离或重定向这种几何结构。实验表明,仅对单帧输入施加极小的白盒扰动即可让编码器将物体姿态记录为攻击者任意选择的状态,导致 Push-T 等任务的规划成功率从 87% 骤降至 32%,且该漏洞在四个标准基准测试中均存在。

    推荐理由:该研究揭示了 LeWorldModel 在测试时对微小图像扰动的脆弱性,攻击可诱导规划器将物体状态误判为任意姿态,导致任务成功率大幅下降。

  17. arXiv · 机器人与计算机视觉78

    TAP-Out:通过外推技术实现任意点的 360°跟踪

    论文提出了 TAP-Out 方法,这是一种离线算法,利用生成式视频外推作为世界模型先验来解决目标离开相机视场后的跟踪问题。该方法将窄视场输入视频外推为完整的 360°全景视频,通过视频对象分割定位目标,并合成以物体为中心的视角裁剪供标准帧内跟踪器运行。

    推荐理由:该工作提出利用生成式外推构建世界模型先验,在 TAPVid360 基准上实现离屏目标跟踪的最优性能。

  18. arXiv · 机器人与计算机视觉78

    行为图:用于解读机器人部署数据的无监督图结构

    针对机器人部署产生海量高维数据难以分析的痛点,本文提出行为图方法,通过识别相似行为模式、连接时序并关联结果,将策略 rollout 压缩为可解释的有向图。用户研究显示该方法比视频更易分析且能预测任务进度。

    推荐理由:提出行为图方法压缩机器人部署数据,用户测试显示其比视频更易分析且能预测任务进度。

  19. arXiv · 机器人与计算机视觉78

    基于路径积分与视觉罗盘误差的机制在真实机器人上的验证

    论文提出并测试了一种模型,证明简单的误差驱动机制能在真实世界条件下生成沙漠蚂蚁学习行走的关键特征。研究团队将模型部署在一台配备全景相机、IMU 和轮速编码器的四轮物理机器人上,并在户外复现了沙漠蚂蚁实验设置。

    推荐理由:该研究在真实四轮机器人上验证了基于路径积分与视觉罗盘误差的机制,成功复现沙漠蚂蚁学习行走的特征。