跳到正文

内容形态

论文与研究 最新动态

四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。

1,994 条精选近 30 天 1,302 条共收录 10,555 条

更新

精选归档 · 第 45 页

10月28日周三第 881–900 条
  1. arXiv · 机器人与计算机视觉82

    RynnWorld-Latent:一种基于通用潜在动作的跨具身世界模型

    论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。

    推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。

  2. arXiv · 机器人与计算机视觉84

    基于评估引导的演示优化:MetaFine 开放竞赛获奖作品

    论文介绍了在 MetaFine Open Competition 中排名第一的视觉语言动作策略 MAI。研究从官方演示出发,针对抓取、推搡和插入等局部失败,通过修订运动轨迹并添加专家续写进行优化,同时保留原始演示用于训练。所有检查点均按指令比较,确保单一指令的收益不会掩盖其他指令的损失。最终提交以 96.66 分获得综合第一。

    推荐理由:作者针对 MetaFine 竞赛中的抓取与插入失败,通过局部评估指导演示修正并加入专家续写策略,最终提交 MAI 以 96.66 分获第一。

  3. arXiv · 机器人与计算机视觉83

    TOPS:重塑流源与传输以优化多任务机器人操作

    该论文提出 TOPS(Task-Oriented Priors and Schedules)方法,针对语言条件化的多任务机器人操纵问题,通过构建多模态任务源并调整去噪过程中的插值调度来适应不同运动需求。

    推荐理由:TOPS 方法通过调整流源先验与插值调度,在无需修改网络架构下提升多任务机器人操作的成功率与推理效率。

  4. arXiv · 机器人与计算机视觉82

    从生物曲线到软体模块化机器人:基于不确定性的引导式改进学习逆向设计

    该论文提出一种基于学习的实机 - 仿真 - 实机框架,旨在将多样化的生物形态(如鳗鱼游泳、尺蠖拱形运动)转化为可行的软体模块化机器人构型。针对现有方法依赖昂贵物理建模和组合搜索的问题,该方法结合学习到的逆向预测与目标候选探索,利用快速前向代理模型评估设计。

    推荐理由:提出基于代理的逆向设计框架,将生物曲线转化为机器人构型,在未见过的穿线模式下实现 93% 的形状重构成功率。

  5. arXiv · 机器人与计算机视觉82

    LOWN:一种基于证书的视觉路由方法用于高效扩散 VLMs

    针对扩散视觉语言模型(DVLMs)在每个去噪步骤处理全部输入导致计算冗余的问题,作者提出 LOWN 解码方法。该方法通过比较有无图像时的预测差异来生成证书,仅在预测不一致时才调用图像进行验证,从而决定该步是否处理图像及解掩码的 token 数量。

    推荐理由:提出 LOWN 方法,通过证书引导的视觉路由在无需微调的情况下将解码 FLOPs 降低至平均 35.3%。

  6. arXiv · 机器人与计算机视觉82

    少步即浪费?面向安全的少步文本到图像模型研究

    论文发现少步蒸馏文本到图像模型存在速度与安全的内在张力:加速推理会显著提升不安全生成率且削弱现有概念擦除方法的效果。为此,作者提出 DICE 方法,通过调整潜在空间构建与生成保持损失以适配蒸馏过程,在 FLUX Schnell 上将不安全生成率从至少 0.161 降至 0.046,同时保留良性生成质量。该工作已接受发表于 IEEE S&P 2027。

    推荐理由:针对少步蒸馏模型加速导致不安全生成率上升的问题,提出适配蒸馏过程的擦除方法 DICE,将 FLUX Schnell 的不安全生成率降至 0.046。

  7. arXiv · 机器人与计算机视觉82

    基于连续图像的四足机器人相机到姿态估计方法

    针对灾难响应等危险环境中四足机器人的外部监控需求,作者提出了QuadPose模型和首个四足机器人姿态基准QuadSyn。该研究解决了四足机器人关节变化、自遮挡及缺乏公开基准的挑战。在QuadSyn上,QuadPose实现了92.18%的[email protected]和3.65度的平均关节角度误差等指标,支持约33 FPS的处理速度。材料为arXiv预印本,未提及同行评审状态或真实部署结果。

    推荐理由:提出QuadPose模型与首个四足机器人姿态基准QuadSyn,在单目视频序列上实现高精度全身姿态估计。

  8. arXiv · 机器人与计算机视觉82

    WithinVAE:一种无需预训练编码器的紧凑视觉自动编码器

    该论文提出了 WithinVAE,这是一种紧凑的变分视觉自动编码器,通过序列瓶颈、基于指数移动平均副本的 DINO/iBOT 风格自蒸馏以及位置相关令牌掩码实现四倍压缩比。

    推荐理由:提出无需预训练编码器即可在自蒸馏中习得语义结构的紧凑变分自动编码器,实现四倍压缩比并提升重建指标。

  9. arXiv · 机器人与计算机视觉82

    MyoAcross:一种用于跨个体骨骼肌模型的通用策略

    针对骨骼肌形态差异导致策略复用困难的问题,本文提出了 MyoAcross 框架,结合个体模型构建、形态条件策略学习与虚拟模型增强,实现了无需微调的肌肉驱动参考动作跟踪。

    推荐理由:该框架通过形态条件策略学习,在无需微调的情况下实现了跨个体肌肉驱动控制,显著降低了跟踪误差并提升了完成度。

  10. arXiv · 机器人与计算机视觉82

    Confident First, Reflective Second:视频理解的置信度保持反思强化学习

    论文提出 CoFire 方法解决视频模型在强化学习中出现的初始答案置信度侵蚀问题,该方法要求初始答案必须独立可靠且高于参考策略设定的阈值,反思仅用于增强而非修正。

    推荐理由:提出 CoFire 方法解决强化学习中初始答案置信度侵蚀问题,在 Video-MME 等基准上实现比最强对比基线高 1.7 个点的平均准确率。

  11. arXiv · 机器人与计算机视觉78

    视频大语言模型免训练推理加速:方法、权衡与评估

    视频大语言模型在长序列理解上存在高计算延迟和内存开销问题。该论文作为综述,系统梳理了从输入到解码各阶段的免训练推理加速方法,单独讨论了后训练量化技术。研究分析了干预位置对时空证据保留的影响,解释了局部效率提升为何未必转化为端到端加速,并基于共享评估设置提供了定量证据以评估精度与延迟的权衡。

    推荐理由:该综述系统梳理了视频大语言模型免训练推理加速方法,按干预阶段分析证据保留与计算开销的权衡。

  12. arXiv · 机器人与计算机视觉78

    ASPEN:通过指令持久性预测实现高效导航的视觉语言动作模型自适应语义推理

    针对导航 VLA 策略重复调用昂贵语义推理的问题,作者提出 ASPEN 事件触发调度器,利用轻量多模态预测器结合时序观测、语言指令、执行历史和缓存置信度来估计冻结基线策略是否会重发旧指令。

    推荐理由:该工作提出基于指令持久性预测的事件触发调度器,在冻结基线策略下实现指令复用,显著降低推理成本并保持导航性能。

  13. arXiv · 机器人与计算机视觉78

    Learning to Read Braille:盲文识别评测与改进

    针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。

    推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。

  14. arXiv · 机器人与计算机视觉85

    E0.5:面向机器人世界 - 动作建模的从重建到未来预测的 3D 基础模型

    该论文提出 E0.5,这是一个以 3D 几何为原生基础的机器人世界 - 动作(WAM)模型,将 3D 几何作为世界建模与动作预测的核心表示。E0.5 在 RoboTwin 2.0 基准上无需具身数据预训练即可达到 89.90%(干净设置)和 50.09%(随机化设置)的成功率,并显式联合预测未来 3D 状态与动作。

    推荐理由:该工作提出以 3D 几何为原生基础的 E0.5 模型,在 RoboTwin 2.0 上实现高成功率,并通过具身预训练显著提升真实机器人操作表现。

  15. 上海人工智能实验室 · 科研动态68

    上海人工智能实验室推出 MatVerse 材料多模态大模型

    上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。

    推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。

  16. Hugging Face Daily Papers78

    iPrefBench:面向个性化移动使用代理的用户中心基准

    iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。

    推荐理由:该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。

10月27日周二
  1. Hugging Face Daily Papers78

    Skill^infty:实现智能体技能优化的递归自我改进

    该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。

    推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。

  2. arXiv · 机器人与计算机视觉78

    Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs

    论文指出当前多模态大语言模型存在早期视觉失准且难以在推理中修正的问题,导致错误传播。为此提出 SAYO 框架,利用强化学习引入区域级视觉注意力奖励,使优化信号与视觉 grounded 的推理步骤对齐。实验表明该方法在多个基准测试中提升了模型的推理与感知性能。项目代码已开源。

    推荐理由:提出 SAYO 框架,通过区域级视觉注意力奖励解决多模态大模型的早期视觉失准与错误传播问题。

  3. arXiv · 机器人与计算机视觉82

    FermatSyn:基于 SAM2 增强的各向同性螺旋扫描多模态医学图像合成方法

    论文提出 FermatSyn,通过冻结的 SAM2 Vision Transformer 注入解剖学先验,结合分层残差下采样模块与跨尺度融合网络保留高频病变细节。

    推荐理由:提出 FermatSyn,利用 SAM2 先验与双向 Mamba 架构解决多模态医学图像合成中的全局一致性与局部细节冲突问题。

  4. arXiv · 机器人与计算机视觉82

    通过双头优化从视觉语言模型进行简单有效的半监督知识蒸馏

    针对半监督学习中利用视觉语言模型(VLM)能力时面临的监督与蒸馏损失梯度冲突问题,本文提出双头优化(DHO)方法,为不同信号引入独立预测头以缓解冲突。实验在 15 个数据集上验证了该方法能提升特征学习效果,使小模型学生网络超越教师模型表现,并在 ImageNet 半监督学习与分布外泛化任务中达到新状态最优。代码与检查点已公开。

    推荐理由:提出双头优化方法解决监督与蒸馏损失间的梯度冲突,在多个数据集上超越单头基线并实现小模型优于教师模型的效果。