VBot Exo2Ego Policy:轻量数据采集与第三人称转第一人称视频生成
论文提出 VBot Exo2Ego Policy 模型,将第三人称视频转化为选定演员的第一人称观察视角,以扩充第一人称操作数据。系统包含支持双视角同步采集的轻量级流程,利用预训练扩散 Transformer 结合几何引导与语义掩码监督优化手物交互保真度。
论文提出 VBot Exo2Ego Policy 模型,将第三人称视频转化为选定演员的第一人称观察视角,以扩充第一人称操作数据。系统包含支持双视角同步采集的轻量级流程,利用预训练扩散 Transformer 结合几何引导与语义掩码监督优化手物交互保真度。
针对现有基准难以评估无目标文本提示下的端到端实例定位与描述问题,RICapBench 发布了包含 245,466 个实例级标注和 498,005 个空间关系元组的遥感数据集。研究提出 RelCap-F1 指标并结合定位性能构建复合评分 RICScore,评估发现 LocateAnything 以 31.68 分获最高综合得分但空间描述较弱。代码与数据已公开,旨在推动遥感图像细粒度理解发展。
论文提出 Gravity and Flight (G&F) 框架,旨在解决视觉语言模型在复杂遥感场景中推理粗糙且缺乏任务相关视觉证据支撑的问题。该框架结合 Evidence-of-Thought 微调与关系转移策略优化,通过基于评分标准的验证机制(Gravity 检查视觉保真度,Flight 评估证据使用)来耦合策略更新。
针对在线策略蒸馏(OPD)中教师模型易受学生错误前缀影响的问题,论文提出 Blink On-Policy Distillation (BlinkOPD) 方法。
FuGIBench 是一个流式视频基准,用于评估模型在因果视频前缀和任务契约下,于等待、可逆准备及响应之间的决策能力。该基准包含 19,893 条合成工具辅助视频,覆盖交接、普通活动及取消需求三个轨道。主要评分指标奖励持续准备并惩罚无谓活动,实验显示较长的准备领先时间会导致较差的响应对齐度。
针对长视界操作中因任务进度和早期尝试结果导致的决策别名问题,本文提出 CGEM 方法。该方法利用评论器筛选能显著改变成功概率预测的事件进行记忆,将正负变化分别编码为进展与失败记录,并在子任务完成后丢弃失败记录以降低成本。在十个子任务的诊断环境中,CGEM 达到 88.0% 的成功率,而传统观察窗口和运动学事件记忆方法成功率均为 0.0%,移除失败记录后成功率降至 1.7%。
推荐理由:提出基于结果导向的评论门控事件记忆机制,解决长视界操作中决策别名问题。
该论文针对通用多模态融合中冗余证据被放大、独特证据被平滑及协同证据激活不足的问题,提出 RADIANT 框架。该方法通过稳定矩阵指数投影减少共享与独特流之间的干扰,并利用带硬正样本更新的记忆机制选择当前融合模式下的协同交互。实验显示,在 FLIR 数据集上,其下游检测 [email protected] 从 91.2% 提升至 96.8%,且具备跨数据集迁移能力及推理时任务记忆适配效果。
ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。
推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。
针对少样本设置下预训练视觉语言模型(如 CLIP)难以捕捉细粒度诊断信息的问题,本文提出一种描述引导的两阶段 CLIP 适配方法。该方法利用症状和对比描述丰富类语义,指导聚合与类别相关的局部图像块证据以校准全局匹配。
推荐理由:提出描述引导的 CLIP 两阶段适配方法,通过症状与对比描述增强语义并校准局部证据,在少样本植物病害识别中实现最高平均准确率。
针对生成式图像编辑带来的来源归因与篡改验证难题,本文提出 ReliaGuard 框架。该方法通过优化受保护图像及其变分自编码器重构下的键控特征响应,在图像失真和源保持约束下工作;仅凭接收到的图像和密钥即可结合局部上下文预测编辑掩码。
MotionSkill 通过从单目视频中恢复时间参考帧,并在仿真中将其适配至不同的目标机器人。该方法对齐根运动与身体地标,利用目标肢体长度在关节限制下求解逆运动学。研究者在 MuJoCo 平台上针对十种双足机器人分别训练了残差策略,使其能根据接触状态修正关节指令。实验显示,该模型在原始视频步态上完成了 98% 的初始状态任务,在遮挡上半身一秒的情况下完成率为 26%。
论文介绍 Hand in Silhouette (SilHand) 框架,利用低成本获取的二值手部掩码替代 RGB 特征进行 3D 重建,以缩小合成数据与真实数据的观察差距。该方法在包含 4.68 万个抓取姿态和 6 万个自由手势的大规模合成数据集上训练,并在五个现实基准测试中将相对重建精度从 49.2% 提升至 63.4%,且对掩码噪声具有鲁棒性。
推荐理由:该工作提出基于二值掩码的仿真到现实手重建框架,通过掩码射线证据融合缩小外观差距,在五个基准测试中相对精度提升显著。
针对灾害现场机器人接触导致未检查地形塌陷的问题,论文提出一种记忆高效的并行策略学习框架。该方法通过混合地形建模结合非塌陷区域的刚体仿真与可塌陷区域的虚拟接触力,在共享刚性物体可塌陷地形上实现间接干扰下的独立状态 - 动作经验采集。
Alloy 是一个开源物理引擎,旨在解决机器人训练中刚体与非刚体(如布料、液体、颗粒)难以在同一场景模拟的问题。该引擎将不同材质的求解器耦合在单一场景中,支持在单 GPU 或 CPU 上并行运行多个世界实例,并引入健康度评分以区分物理失败与策略失败。
SGVD 是一种基于不确定性感知的扩散框架,通过双步预测估计区域级恢复不确定性以自适应激活生成先验。该方法利用锚引导轨迹一致性机制减少帧间漂移,仅需单步推理即可在去雨任务中实现优于最先进方法的感知质量与时间连贯性。
DEDCA 提出一种利用双证据分歧进行无标签自适应的检测框架,结合 CLIP 语义特征与打乱熵残差统计迹证据。该方法在 GenImage 基准上平均准确率达 92.0%,优于现有最先进检测器及测试时自适应方法。
该论文概述了 Hibikino-Musashi@Home 2026 团队在 RoboCup@Home 2026 比赛中开发的集成技术。
推荐理由:原文概述了 RoboCup@Home 2026 团队的集成技术方案,涵盖无训练目标识别、语义建图及低功耗时序处理模型。
该研究针对室内环境下利用固定外置相机进行机器人导航的问题,指出标准 PPO 算法因视角不匹配而失效。为此提出 Viewpoint-Invariant Navigation from Exocentric Cameras (VINE) 方法,通过监督学习构建障碍物地图估计网络,输入外置图像、相机位姿、机器人位姿及房间尺寸以生成观点不变障碍图。
针对低分辨率红外图像中多热源重叠导致的模糊与幻觉问题,论文提出了 FlowIR 框架。该方法利用伪三维深度提升和深度引导的三维卷积分离前景物体,并通过簇间注意力抑制特征污染,辅以热几何一致性损失强化对齐。基于轻量级校正流骨干网络,FlowIR 仅需少量步骤即可生成边界清晰、抗退化且几何保真的高分辨率红外图像。该工作已接受至 2026 IEEE ICME 会议。
论文提出了 ReCan-GS 框架,旨在从随意视频中重建动态场景并抑制瞬态遮挡物、阴影和体积效应。该方法基于学习到的变形场推导雅可比矩阵以计算变形敏感度分数,以此作为重建模糊性的经验代理,指导将内容分离为动态核心高斯和每视图干扰项高斯,或进行后处理剪枝。实验在合成与真实动态场景及烟雾/雾场景中验证了其在不同干扰制度下的有效性。该工作已被 WACV 2027 接收。
基于 Voltera NOVA 平台的参数化直接墨水书写流程,在 PET 和 TPU 基底上实现了含多层 Velostat 及全印刷碳架构的柔性力传感器。实验显示单层至六层 Velostat 器件呈现强非线性响应,最佳线性拟合 R²介于 0.475 至 0.641 之间,且无一致单调关系;八层印刷碳器件主要在 2 N 以下有效工作。
论文提出 H2E 方法,将导航代理(LLM 规划器调用 VLA)的成功会话转化为 VLA 训练数据,使 VLA 在测试时独立导航。该方法保留原始任务指令下的动作并将目标位姿作为奖励,同时屏蔽远离目标的步骤损失,将在 1 米内的访问状态标记为停止点。
arXiv 发布了一篇关于 ATune 模型的论文,该模型仅需利用商业图库中的百万级原始照片及模拟损坏版本进行训练,无需任何专家标注数据。研究展示了 ATune 如何驱动 RawTherapee 和 darktable 等编辑器调整滑块以优化亮度、对比度等属性,并在用户研究中击败了 GPT-6 Astra 及其他监督学习模型。
推荐理由:该预印本提出无需专家标注的无监督修图方法,在用户偏好测试中表现优异。
该论文提出了 Disentangled Embedding Optimization (DEO) 框架,旨在通过扩散模型将大规模数据集压缩为合成子集。针对现有聚类方法导致类别内样本纠缠、降低数据多样性的问题,DEO 用可训练的嵌入替换静态聚类,并优化其高斯统计特性以匹配原始分布,同时引入多样性正则化增强类内变异性。
BWM-Forge 是一个用于可控机器人视频生成的代码驱动框架。给定机器人资产和任务描述,该框架接受初始图像、含运动数据的图像或人类演示视频作为输入。一个编码智能体构建可编辑的 Blender 场景程序以指定物体、机器人运动和相机视角;生成的代理视频为视频生成模型提供结构和运动参考,后者负责添加视觉细节。
该研究提出一种基于二次规划(QP)的反馈控制器,利用耦合控制屏障函数(CBF)与让行矩阵在输入约束下保证多机器人系统无死锁运行。理论分析确立了局部 Lipschitz 充分条件及有限减速导致的不可约松弛分量边界,仿真验证了其在不同让行偏好下的自适应协调及对机器人故障的鲁棒性。
针对长视界操作中的不确定性问题,本文提出一种可见性感知任务与运动规划算法,将现有确定性求解器扩展至部分可观测物体重排场景。该方法在规划骨架中交错插入感知动作,并利用基于持久对象的记忆融合观测数据以构建物体网格假设和占据栅格图。在具有严重遮挡和部分可视性的真实桌面重排任务上评估表明,该算法优于未执行主动感知或缺乏持久记忆的基线方法。
SPEM 是一种利用扫描先验熵建模进行激光雷达几何压缩的新框架,无需将编码几何转换为球面或束对齐坐标系。该方法通过多频球形旋转位置编码及解码记忆自回归预测器,在保持原始笛卡尔几何精确恢复的同时,实现了有损与无损压缩的最先进性能。
针对非道路环境多相机观测可靠性差异大的问题,提出 QVS-LIVO RiskMap 系统,将状态估计中的视觉处理与语义建图解耦。前端基于共享激光雷达 - 惯性后验进行只读预跟踪以评估观测健康度与几何互补性,利用通道健康记忆和切换迟滞选择至多一个视图进行光度校正;后端在共享世界网格中融合所有可用视图的语义观测。
推荐理由:提出 QVS-LIVO RiskMap,通过解耦视觉处理实现多相机状态估计与语义建图,在越野环境下提升鲁棒性与实时性。
论文提出 PERA 方法,旨在解决运动模仿中微调整个策略会干扰现有行为、独立训练每个策略成本高的问题。该方法冻结预训练的混合专家策略,利用任务奖励或教师动作监督训练额外的任务专家及其路由分数。
推荐理由:提出 PERA 方法,通过冻结预训练策略并新增任务专家实现连续全身控制技能复用,在 Unitree G1 仿真中成功完成十项新任务且保留原有动作。
论文介绍 GOOSELoc 基准,包含德国慕尼黑四季采集的 9,356 个场景,配对地理配准航空正射影像、环视 RGB 图像与 3D LiDAR 点云。研究对比了四种现有跨视角定位基线在越野环境下的性能下降情况,并提出结合环视图像与 LiDAR 几何的多模态基线以提升定位效果。数据与基线已开源。
论文提出 split-and-scale 方法解决潜在表示在捕捉复杂物体细节上的局限。核心思路是将 3D 场景视为坐标的连续函数,利用预训练 tokenizer 在推理时对任意小区域进行局部化分配,使相同潜在容量服务于更小空间范围从而提升细节表现。实验表明该方法在计算、内存与重建质量间取得平衡,生成的 3D 模型质量可与更大规模模型竞争,且支持高质量的自回归 3D 生成建模。
针对仅检测位置未评估严重性的痛点,该研究提出结合几何测量与 Gemini 2.5 Pro 的五阶段离线框架。在 1,119 个行车记录仪场景的 3,092 个坑洼测试中,相比纯图像基线,该方法将高紧急度场景移出 26.7%,关键等级分配提升 109%。每场景成本为 0.105 美元,其机动建议仅作为研究参考而非车辆引导指令。
BiScopeNet 是一种无需修改视觉编码器或语言模型的视频大语言模型增强框架,通过 FocusAlign 模块和 MetaLoss 损失函数实现左/右手角色及操作物体的显式识别。该框架基于 BiScopeCap-100K 数据集在多个视频大语言模型骨干上进行了评估,在子动作检测任务中取得了优于对应监督基线的最强聚合性能。相关研究已获 BMVC 2026 接收,代码与数据许可状态待进一步确认。
针对现有 4D 高斯泼溅在处理切割、组装等拓扑变化时产生严重伪影的问题,本文提出 TopoEgo 基准和 Topo-4DGS 方法。Topo-4DGS 通过为交互部件分配独立刚性变换并动态激活/停用高斯点来联合建模部件级运动与随时间变化的表面支撑。实验表明该方法在拓扑变化场景下显著优于现有最先进方案,代码和数据将公开。
Iris-Z 是一个通用图像生成器,能在同一骨干网络中同时生成外观和几何信息、从照片估计深度以及将图像绘制到给定深度上。该研究验证了统一架构在单目几何任务上的可扩展性,表明其在不增加专用层的情况下,于既定深度基准上超越了最先进专用模型。作者开源了两个版本的模型供社区使用。
论文 JustRUA 针对 GPT-6 Astra 在 RoboDojo 上的表现差异,拆解了 harness、动作接口、经验复用与场景几何等设计因素并进行统一测试。
该研究提出利用视觉语言模型嵌入差值在潜在空间搜索语义变换,构建了包含 64+ 事件类型、约 200 万张图像的全球最大卫星事件数据集。所提模型以 93.5% 最高 F1 分数检测变化,预测事件检索性能优于基线 3.6 倍,且能在完工前九个月将完成日期预报误差控制在三天以内。代码与论文将于 NeurIPS 2026 发表。
针对 FPS 游戏《Counter Strike: Condition Zero》中的目标检测任务,该研究对比了 YOLOv5s 与语义分割模型,发现后者虽推理稍慢但形状识别更优。
论文提出 TRACE 方法,旨在解决现有文本到视频模型在高分辨率下训练成本高且无训练方法细节丢失的问题。该方法通过同步低分辨率与高分辨率的生成轨迹,在去噪早期阶段对齐场景内容,利用低分辨率预测计算高分辨率更新而无需进行高分辨率模型推理。