CellTrack-Bench:微观细胞追踪基准评测视觉语言模型
CellTrack-Bench 新基准评估视觉语言模型在包含 15 个数据集、4 种成像模态及 9041 个细胞连接决策的微观细胞追踪任务表现。研究对比了 9 款闭源前沿模型与 13 款开源权重模型的准确率,并分析了其失效模式。代码、存储输出及再生基准管道已公开提供。
CellTrack-Bench 新基准评估视觉语言模型在包含 15 个数据集、4 种成像模态及 9041 个细胞连接决策的微观细胞追踪任务表现。研究对比了 9 款闭源前沿模型与 13 款开源权重模型的准确率,并分析了其失效模式。代码、存储输出及再生基准管道已公开提供。
针对大语言模型微调受限于高质量数据集稀缺及现有方法同质化问题,研究提出 SCOPE 自动化框架。该框架引入计划反馈纠错管线,利用规划器执行失败信号修正场景图逻辑不一致性以确保物理可行性。实验显示,基于 SCOPE 数据微调的下游任务与运动规划模型,成功率较使用 DELTA 生成数据的基线提升绝对值 12.33%。
论文介绍 FastHarness,一种经验驱动的机器人执行框架,用于自适应调度 GPT-6 Astra 对{π}0.5 策略的监督。该方法通过阶段记忆和已审查结果减少审查频率,并在发现错误时聚焦于纠错;验证恢复后继续常规执行并保留失败经验以指导未来干预。
推荐理由:FastHarness 提出经验驱动的审查调度机制,在不训练模型前提下将 GPT-6 Astra 监督的 Token 使用量平均降低 57.2%,并在四项仿真任务中将成功率从 80% 提升至 97.19%。
针对现有视觉语言动作模型过度依赖腕部视角、缺乏跨任务阶段全局与局部观察自适应协调的问题,论文提出 FocusVLA 框架。该方法通过历史动作预测未来交互意图并指导动态视图路由,在不修改核心架构的前提下适配现有 VLA 系统。
推荐理由:提出 FocusVLA 框架,利用未来意图引导动态视图路由,在 RoboTwin 2.0 及真实场景中显著提升 VLA 模型成功率。
arXiv 发布了一篇关于机器人集群控制的预印本论文,提出利用概率能量建模作为统一表示来协调多样化任务。该方法将基本群体行为编码为可复用的能量项,通过轻量级策略门控组合去中心化策略而无需重新训练。实验在无人机集群上验证了该框架在六个任务类别、10 至 100 个智能体以及两种硬件平台上的零样本泛化能力,仿真成功率达 96% 至 100%,且物理部署证实了对真实平台和无序环境的迁移效果。
推荐理由:该预印本提出概率能量建模统一框架,支持多任务零样本迁移与跨平台部署。
该报告介绍了 WeVisOne-VL(WeChat Vision All-in-One),这是一个通过结构化下一词预测来统一物体级和像素级感知的强大视觉语言模型。
针对现有检索方法在处理高度混淆的细粒度类别时区分度不足的问题,本文提出了 ReCoG 框架。该方法将概念表示为节点,并通过有向边显式捕捉概念对之间的判别性线索。
针对动态场景中非马尔可夫特性导致线索消失的问题,本文提出 WholeBodyMem 方法,利用 SAM3 追踪任务物体并因果选择关键帧构建感知记忆,供动作专家通过交叉注意力读取。该方法在仿真和真机(宇树 G1)上均显著优于无记忆及均匀采样基线,将基础策略成功率分别提升至 72.6% 和 88.3%,同时改善了标准 SIMPLE 任务表现。作者开源了包含六个仿真与六个真机任务的 HuMeGo 基准。
推荐理由:提出 WholeBodyMem 方法,利用预历史记忆将仿真与真机任务成功率分别提升至 72.6% 和 88.3%,并开源 HuMeGo 基准。
论文提出 HiSTEVE 1.0,一种具备能力感知代理笼的层级视觉语言动作(VLA)智能体,旨在让虚拟具身智能体在 Minecraft 等开放世界中像人类玩家一样操作。
针对无配对模态间难以恢复类级对应关系的问题,本文提出 RankAlign 这一基于秩的归一化策略。该方法将单模态相似度核转化为序数关系表示再进行排列匹配,在保持匹配求解器不变的同时,对相似度值的严格递增重参数化具有不变性。实验表明,该策略在多种冻结视觉与语言编码器及不同数据集上,均能实现更优且更稳定的类级对应恢复,且在标签污染与域偏移场景下表现稳健。
该研究针对自然语言接口下的机器人任务路由问题,对比了三种基于 ChromaDB 的语义检索方法与一个 120B 参数的云端大语言模型基线。实验在 164 个标注提示词上进行,涵盖从单工具到复合指令(需至少三个工具)的不同复杂度。
论文 TRACE 提出一种面向非结构化森林环境的自主地面机器人导航框架。该方法利用视觉语言模型(VLM)生成的正负自然语言提示置信度图,通过证据融合生成稠密可通行性地图,并提取边界作为软约束融入非线性模型预测控制(NMPC)。实验在真实森林环境中验证了其在杂乱、变形及视觉模糊地形下的平滑导航能力。材料为预印本论文,未提及同行评审状态或具体部署规模。
Vision-language models (VLMs) 在视觉上下文学习(vICL)任务上表现不佳,主要依赖文本捷径而未能充分利用视觉演示。本文构建了无文本捷径的 vICL 训练集 MIME,并通过微调使三种 VLM 的 vICL 准确率提升 8.1 至 18.0 个百分点,同时保持单图性能并增强多图及纯文本上下文学习能力。
针对长思维链推理中模型偏离图像证据且强化学习仅提供最终奖励的问题,本文提出 RECAP 方法。该方法将视觉重访痕迹转化为信用分配信号,无需额外奖励或推理时改动,即可在 Qwen2.5-VL-7B、InternVL3-8B 和 LLaVA-OV-7B 等模型上提升图像 grounding 推理能力并保留文本性能。
推荐理由:提出 RECAP 方法,利用视觉重访信号优化 GRPO 训练,提升多模型在图像 grounding 上的推理准确率。
论文提出 LoopLook,一种轻量级编码器侧循环感知框架,为预训练视觉语言模型赋予自适应视觉深度。该方法通过循环重访视觉编码器中段至后段窗口并注入问题表征来引导视觉细化,利用学习到的停止机制自适应决定循环深度,并通过 Token 级混合视角(MoL)组合不同循环的表征。
论文提出了 TEAR(Task-Evidence Authority Routing for Robotic Manipulation)框架,旨在解决现场部署环境下机器人操控的可靠性问题。
针对人形机器人独立采集的动作难以连续拼接的问题,论文提出 Spatio-Temporal Alignment with a Motion Prior (STAMP) 框架。
论文指出当前世界模型多用于预测下一帧像素,但这并非强化学习中想象回放的唯一目的;作者提出 DRILL 框架,利用下游回报信号更新世界模型。实验显示该方法在五个操作仿真器和两个 VLA 骨干上均能提升策略成功率,且能与 RLVR 预训练互补而非竞争。
推荐理由:提出 DRILL 框架,证明以策略效用为目标的世界模型训练优于单纯像素预测,在多个仿真器与 VLA 骨干上提升成功率。
论文提出了 ALMA 框架,旨在解决空中平台在机臂交互下质心变化导致的控制难题。该方法利用上下文飞行策略结合动作条件预测来保留历史响应信息,并引入进化过程通过大语言模型分析控制困难以生成新的机臂运动结构进行训练。实验表明,该策略在仿真中将位置均方根误差降低了 24.7%,并能零样本迁移到真实空中机械臂,使周期性机臂运动下的悬停位置误差降低 79.6%。
该论文针对流匹配(Flow matching)在视觉语言动作(VLA)机器人策略中的应用,提出并验证了单步动作生成的有效性。研究发现,只要模型训练充分且容量足够,单步推理的效果与多步采样基本一致,后者并未带来一致的显著优势。
针对现有轻量级 VLA 模型在受限算力下多任务能力不足的问题,该研究提出 SmolVLA-MoE 框架,将稀疏混合专家结构引入动作专家的 FFN 层。通过共享专家与可调节权重平衡预训练能力继承与任务特异性专长,推理时仅激活单个专家 FFN(总激活参数约 500M),同时存储约 800M 参数。
针对视觉语言动作(VLA)模型在与其他机器人或人类协作方面的能力不足问题,本文提出 Co^2Gen 框架。该框架利用去中心化协同规划方法生成可执行的多机器人协作计划,进而产生协作演示数据用于微调 VLA 模型。实验表明,基于该方法生成的数据进行微调的模型,在执行去中心化协作任务时的表现与使用人类遥操作数据微调的模型相当。
推荐理由:提出无需遥操作的协同规划框架,生成数据微调 VLA 模型效果媲美人类演示。
FETA 提出一种针对视觉语言导航(VLN)任务的反馈高效测试时自适应方法,通过分层样本选择与熵梯度显著性准则定位关键动作并仅查询单次二元反馈。该方法仅在预测与反馈存在差异的步骤更新策略,结合差异感知优化目标实现更可靠的闭环适应。实验表明,FETA 在多个基准测试中实现了最先进性能,且在噪声反馈及持续适应场景下保持鲁棒性。
论文提出 PATH-Net 框架,解决地面车辆遥操作中忽视操作员速度与风险偏好的问题。该方法融合视觉几何鸟瞰特征与短时历史状态,利用最大熵逆强化学习和稀疏速度监督优化建议。实验显示在 225 条轨迹上,激进与保守策略的修改豪斯多夫距离分别为 0.17m 和 0.15m,NASA-TLX 负荷评分从 34.7 降至 22.2。材料为预印本,未提及同行评审状态或开源代码。
针对具身智能体在长程规划与快速闭环决策间的矛盾,本文提出 CARE 框架,通过轻量级评论模型监控执行可靠性并动态触发向云端强模型的升级控制。该架构利用共享交接内存保持上下文,避免逐步切换带来的中断。实验表明,CARE 在多个基准测试中将任务成功率提升 6.3-18.3 个百分点,同时将动作间延迟中位数降低 28.8-82.6%,接近或超越纯云端方案的效果。
该研究提出一种名为 STR 的方法,利用时空偏好将人类演示转化为全身控制与操作轨迹。通过视觉语言模型选择关键信号与身体部位,并在关键帧分配额外求解迭代次数及更高交互权重,同时引入力学感知接触锚定优化物体表面接触位置。
该论文通过预注册实验对比了将具身智能体的经验嵌入策略权重与作为外部检索缓冲器的效果。结果显示,将冻结的检索缓冲器附加到固定学生权重上比仅行动控制提升 34 个百分点,显著优于将记忆蒸馏进权重的方案(后者因统计功效不足被撤回)。研究结论建议采用外部化记忆架构,即保留独立缓冲器而非将其参数化入模型权重。
推荐理由:预注册研究表明将记忆外置并作为检索缓冲器使用时,比嵌入权重更能提升具身智能体在视觉条件化任务上的表现。
该综述回顾了触觉感知在灵巧操作中的发展,涵盖力学驱动的接触信号解释与数据驱动的模仿学习、强化学习及视觉语言动作模型等进展。文章分析了从基础传感原理到未来可扩展系统的开放挑战,共 30 页,为构建鲁棒机器人系统提供理论参考。
Alpha 是一个针对 LLM 驱动具身操作的仿真故障注入与鲁棒性评估框架,通过向感知、执行和规划层注入校准后的故障来揭示失效根源。在包含 150 个回合的平衡矩阵中,确定性脚本预言家以 64.0% 成功率完胜仅得 44.0% 的 Llama-3 智能体,且排除了规划器输出损坏后两者物理表现完全一致。
Hugging Face Daily Papers 转述了一篇 arXiv 论文,介绍 RynnUnify 这一 16B 参数规模的统一具身模型。该模型结合视频语言推理实现长视界视觉规划与物理预测,并通过强化学习扩展智能体能力以推断未观测状态,同时开发世界 - 动作扩展将理解转化为机器人控制。
推荐理由:该预印本介绍了 RynnUnify 统一具身模型,展示了其在视觉规划、物理预测及机器人控制上的实验结果与基准。
Dream Labs 宣布完成 9000 万美元种子轮融资并推出 Dream API,其旗舰模型 Dream-1 宣称无需额外数据即可跨硬件控制机器人执行抓取、折叠等任务。公司通过云端运行模型并提供微调服务,支持开发者连接带夹爪的机器人直接调用,同时开放 Playground 供在线测试。
论文提出 BAS-VLA 框架,旨在解决视觉语言动作(VLA)模型难以区分应保留行为的外观变化与需调整行为的语义变化的问题。该框架在冻结基座模型上构建以‘破坏性’为中心的校准核心,并辅以选择性证据门控机制来修正外观诱导的漂移。实验显示,BAS-VLA 将任务切换成功率从 2.3% 提升至 68.5%,同时在保持风格不变的外观偏移下将成功率从 42% 提升至 70%,且未降低原始性能。
推荐理由:提出 BAS-VLA 框架解决 VLA 模型在外观变化与语义变化下的策略漂移问题,显著提升任务切换成功率。
针对具身智能中视觉语言动作模型推理延迟高的问题,本文提出 rMuscle 框架,利用跨执行相似性构建上下文与动作双重缓存机制,复用视觉 token 输出并减少权重访问。实验显示该方案在 RTX 4090 和 Jetson Thor 上实现 1.29-1.42 倍加速,且在 LIBERO、RoboTwin 及物理操作任务中保持原有成功率。
本文介绍 ASPIRE(Agentic Skill Programming through Iterative Robot Exploration),一种在代码即策略范式下自主编写和精炼机器人控制程序的持续学习系统。
推荐理由:提出 ASPIRE 系统,通过闭环执行引擎与技能库实现机器人控制程序的自主编写与迭代优化。
论文提出了 ReStruct 方法,旨在解决部署学习到的机器人策略时的推理时行为引导难题,即在无需重新训练的情况下将策略导向用户偏好。该方法构建于神经自动机策略之上,将其分解为捕捉任务结构的高层状态机骨架和表示残差策略的低层连续控制器。
推荐理由:提出 ReStruct 方法,通过重构任务结构实现推理时行为引导,在仿真与真实世界中均优于现有方法及 VLA 模型。
SafeDojo 是一种基于模型的安全强化学习框架,利用交互式视频世界模型进行在线强化学习。系统使用 ResNet 成功分类器评分预测帧,并通过轻量级安全头从潜在上下文和动作块中预测接触概率,结合拉格朗日约束的 GRPO 平衡任务执行与轨迹安全性。
论文提出针对视觉语言动作模型(VLA)的高效一步生成策略。研究发现,仅将训练时间步分布偏向噪声端点,即可在 LIBERO、CALVIN 等基准上获得强单步策略;对于开源 VLA 模型,简单替换迭代解码为单次前向传播即可达到与多步解码相当的效果。
推荐理由:研究发现 VLA 因条件 - 目标结构特性,仅需调整时间步分布即可实现高效单步动作生成,无需蒸馏或专用目标。
该论文研究异质多团队协作中的动态机器人分配问题,将机器人视为可转移资源,提出基于汉密尔顿法则的利他决策机制及图神经网络策略。模型在消防场景下与精确优化及多步仿真对比,并在包含 15 台机器人的五组物理测试中验证了重分配策略的有效性,所有试验均达到灭火阈值,优于固定团队分配的两次成功。
Safe-Night VLA 是一个多模态操作框架,旨在让机器人在非结构化环境中看到常规传感器无法捕捉的热信号并执行安全操作。该研究将长波红外热感知集成到预训练的视觉语言骨干网络中,使语义推理基于热力学属性;同时通过控制屏障函数在策略执行期间施加确定性工作空间约束以应对分布外条件。
论文提出 ExtremControl 低延迟全身控制框架,通过底层加入缩放速度前馈减少约 70ms 跟踪延迟,并直接在 SE(3) 位姿上操作以避开关节空间重映射。系统支持光学动作捕捉与 VR 追踪,端到端延迟低至 50ms,实现了乒乓球平衡、抛接球等现有遥操作无法完成的任务。
推荐理由:提出 ExtremControl 框架,通过速度前馈与 SE(3) 位姿控制将端到端延迟降至 50ms,支持乒乓球平衡等新任务。