SAM3RL:基于强化学习的视觉目标跟踪记忆控制
该论文提出了 SAM3RL,一种针对 Segment Anything Model 3 的扩展,通过强化学习训练轻量级控制器来优化视频对象分割中的记忆管理策略。
推荐理由:提出用强化学习训练轻量级控制器优化 SAM3/SAM2 的记忆管理,在多项基准上超越手工规则且无运行时开销。
内容形态
可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。
356 条精选近 30 天 209 条共收录 1,471 条
该论文提出了 SAM3RL,一种针对 Segment Anything Model 3 的扩展,通过强化学习训练轻量级控制器来优化视频对象分割中的记忆管理策略。
推荐理由:提出用强化学习训练轻量级控制器优化 SAM3/SAM2 的记忆管理,在多项基准上超越手工规则且无运行时开销。
论文提出 PolyMorph 框架,将机器人 URDF 转换为关节连杆模块,结合循环编码器、基于图的 Transformer 和每关节解码器,生成适用于不同腿数和关节配置的单一运动策略。
推荐理由:PolyMorph 框架通过形态归一化奖励与图 Transformer,实现单策略跨双足、三足及四足机器人的通用迁移。
针对 3D 高斯泼溅(3DGS)在存储与传输上的资源消耗问题,本文提出 RDCompGS 方法,通过将可微分编码率估计纳入率失真优化过程,解决传统优化忽视不同表示间编码差异的局限。
推荐理由:提出 RDCompGS 方法,将可微分编码率估计引入 3DGS 优化,在 H.265/HEVC 和 JPEG XL 下分别实现 37.84% 与 49.31% 的码率降低。
Dungeon and Visibility World Generator 是一个开源框架,用于构建可复现的二维和三维环境并评估几何视线。该工具支持正交、多边形/多面体及曲线几何,涵盖六种构造家族(如分散房间、蜿蜒通道等),允许通过参数控制房间尺寸与障碍物布局。
推荐理由:该框架提供可复现的二维三维环境生成与视线查询工具,支持多种几何类型与参数控制,适合机器人探索、覆盖及多智能体部署算法的评估。
论文提出 VITAL(Vision-Induced Tokens for Action Learning),旨在将视觉预期转化为驾驶决策。该方法通过耦合视觉导出的运动骨架与紧凑残差编码,使视觉运动成为主要预测目标,同时为轨迹误差提供独立的归一化学习尺度。
推荐理由:该工作提出 VITAL 方法,将视觉运动作为动作预测主目标并引入残差编码,在 NAVSIM v1/v2 测试集上实现接近多步推理的精度与速度。
该论文针对现有视频物体移除方法延迟高且无法实时交互的问题,提出了 StreamErase 模型。该方法在文本到视频模型基础上引入掩码输入,并通过滑动窗口因果注意力与 KV 缓存滚动技术,将强大双向基础模型的擦除能力迁移至高效单向流式生成器,实现了单 GPU 下低于秒级延迟、最高 26 FPS 的实时流式生成及任意长视频处理。
推荐理由:提出 StreamErase 方法,通过滑动窗口因果注意力实现视频对象擦除的实时流式生成与无限时长扩展。
论文介绍 MAI-Gym 这一开放的一体化平台,统一了移动端、电脑端和 Web 端的 GUI Agent 评测、数据收集及在线强化学习训练流程。该平台通过共享部署管道确保行为一致性,支持十个基准测试并扩展至两万并行环境实例。
推荐理由:MAI-Gym 平台统一了移动与计算机环境的 GUI Agent 评测与在线强化学习训练,支持合成任务并实现了从模拟到物理设备的技能迁移。
论文介绍 CarryOn,一种将长周期任务上下文组织为可复用对象的运行时机制,避免依赖压缩的历史记录。该方法通过维护载体记录、结合环境检查更新基础信息并保留未受影响记录,在 OSWorld 2.0 和 BrowseComp-Plus 基准上分别提升性能 5.8% 和 7.0%,同时降低 Token 使用量 51.9% 和 22.9%。材料为预印本论文,提供 GitHub 项目页面链接。
推荐理由:提出 CarryOn 对象化上下文运行时,在 OSWorld 和 BrowseComp-Plus 上提升性能并显著降低 Token 消耗。
针对长程智能体难以从早期错误中恢复的问题,本文提出了 BELIEFWEAVER 框架。该方法通过维护前沿、尝试、观测和检查点的关系信念状态,利用执行证据更新优先级并控制执行,同时使用隐式世界模型评估修复假设以指导探索。研究进一步通过监督微调与在线策略蒸馏,将推理组件压缩至 9B 学生模型,在三个终端基准测试中相比原生基线显著提升了最终得分,并将教师模型 API 调用成本降低了 54.8%。
推荐理由:该工作提出结合信念更新与世界模型的长程恢复框架,并通过蒸馏将推理成本降低一半以上。
针对现有机器人策略将物理时间隐含于序列位置的问题,本文提出 Chronos Policy,通过在扩散 Transformer 中显式利用观测捕获时间和动作执行时间来增强鲁棒性。
推荐理由:提出显式利用物理时间条件的机器人策略方法,通过时间感知 RoPE 提升动态任务鲁棒性。
arXiv 论文 NovaSplat 提出一种无需 CAD 模型的 6D 位姿估计流程,通过手机视频训练 3DGS 作为检测与粗估计模板及可微分优化骨干。该方法在家庭物体基准上超越所有基于模型的方法,并在含无纹理和镜面表面的工业基准上优于同类无模型方法且缩小了与基于模型方法的差距。
推荐理由:该工作提出 NovaSplat,利用手机视频训练 3DGS 实现无 CAD 模型的 6D 位姿估计,在家庭与工业基准上超越现有方法。
论文提出 LeapBot-JAC 方法,旨在解决固定动作令牌预算下的执行组织问题。该方法在共享动作专家内分配稀疏的未来控制引用和密集的当前执行目标,利用定向注意力机制让执行令牌读取受可见性约束的参考令牌。
推荐理由:提出 LeapBot-JAC,在固定动作令牌预算下通过联合动作链组织稀疏参考与密集执行,提升 LIBERO 任务成功率。
论文提出 LeWAM,这是一种端到端的联合嵌入预测架构(JEPA),旨在无需像素重建的情况下学习紧凑的潜在世界模型以支持直接控制执行和高效规划。该方法通过联合训练下一个潜在状态预测与动作流匹配,并施加各向同性高斯约束,使单一模型能同时支持策略执行与采样动作评估。
推荐理由:LeWAM 通过联合嵌入预测架构实现了端到端控制,在接触丰富任务上成功率提升至 89.7%,规划速度提升 32.3 倍。
上海人工智能实验室推出决策模型‘书生·明决’(Intern-Decision),包含0.8B、2B、4B三档参数版本。该模型将原生视觉感知与指令遵循融为一体,在单卡RTX 4090环境下实现每秒约30次决策的响应速度,端到端时延比Jev快2倍以上。
推荐理由:上海AI实验室推出原生视觉决策模型书生·明决,在端侧推理速度与多模态任务质量上超越Jev等开源基线。
上海人工智能实验室推出“书生·端砚”科学发现平台及配套的“书生SCP-Lab”实验设备访问与协同协议,旨在破解真实物理实验室中异构设备的统一调度难题。该协议基于科学智能上下文协议(SCP),构建了连接科研智能体、实验室操作系统与本地执行层的分层架构,创新提出L1至L5五级控制粒度框架,实现从整体流程到原子动作的标准化描述。
推荐理由:上海AI实验室推出书生SCP-Lab协议,为科研智能体提供统一设备访问与协同机制,已在9个场景验证并支持跨机构实验。
论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。
Harness 自进化的效果取决于模型能否遵循其引导,但研究发现强模型的有益技能对弱模型可能有害甚至降低性能。为此,作者提出技能适配方法,利用外部重写器诊断工具执行、上下文管理等失败原因并蒸馏为固定元技能,在不依赖执行证据的情况下将通用技能改写以匹配执行者能力。实验显示该方法在七种不同能力的执行器上均提升了自进化循环的最终得分,为开发更有效的 Harness 自进化提供了设计指导。
推荐理由:原文发现通用技能对弱模型有害,提出通过元技能诊断失败并适配技能以匹配执行者能力的方法。
星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单综合平均成功率32.26%、得分39.26分两项指标均居第一,泛化与精细操作能力领先。该模型采用视频预测与动作学习分阶段训练策略,未依赖额外数据或外挂增强手段。代码已开源,项目主页提供复现入口。
推荐理由:星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单登顶,并开源代码与项目主页。
论文提出 Seeker 方法,解决现有 ROI 接口依赖外部标签或固定裁剪导致视觉证据错位的问题。该方法从冻结的 DINOv3 特征出发,通过迭代更新查询向量,仅凭动作监督生成任务与状态感知的感兴趣区域(ROIs)。
推荐理由:提出 Seeker 方法,利用动作监督学习任务感知的注意力区域,在仿真与真实机器人上均提升了数据效率与鲁棒性。
论文介绍 Memento 3,使冻结的大语言智能体能通过外部自然语言规则书持续学习显式世界模型并编译为可执行代码。系统通过观察、反思、修订规则、编译和验证的循环,利用预测误差在保持底层大模型固定的前提下实现递归自我改进。
推荐理由:该工作提出通过外部记忆和规则书实现冻结大模型的递归自我改进,在 ARC-AGI-3 上达到人类效率基准。