英伟达发布VFlash视觉规划框架,机器人推理提速12倍
英伟达发布了面向快速精准视觉规划的通用解码框架VFlash。该框架利用视觉信息的几何结构,通过并行预测完整空间信息替代传统逐Token生成,在三维点运动预测任务中单次生成速度提升约25倍,动作解码最高加速12倍、整体机器人推理加速5.1倍。
推荐理由:英伟达推出VFlash并行解码框架,将机器人推理加速5倍、动作解码提速12倍,并提升任务成功率。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
英伟达发布了面向快速精准视觉规划的通用解码框架VFlash。该框架利用视觉信息的几何结构,通过并行预测完整空间信息替代传统逐Token生成,在三维点运动预测任务中单次生成速度提升约25倍,动作解码最高加速12倍、整体机器人推理加速5.1倍。
推荐理由:英伟达推出VFlash并行解码框架,将机器人推理加速5倍、动作解码提速12倍,并提升任务成功率。
上海AI实验室发布书生·天枢(Intern·LabOS)分布式自主实验室网络操作系统,旨在组织各地实验室协同开展湿实验。该系统以SCP-Lab为统一接口,借助书生物理世界模型W0驱动机器人完成操作,打通异构设备自主执行与数据回传链路。材料描述的是系统架构与功能验证,未报告真实药物上市或大规模商业化部署结果。
推荐理由:原文给出了科研操作系统与物理世界模型的协同设置及开放入口,相关团队可据此判断它是否适合现有实验流程。
该研究调查了 persona-conditioned visual interestingness 在 Qwen3-VL-8B-Instruct 中的表征几何,发现早期层主要编码图像身份,而特定人物结构出现在深层。提示词框架对内部表征的重塑作用强于人物身份,但人物内容对行为判断影响更大,表明表征距离不一定反映行为相关性。
推荐理由:揭示了多模态大模型中表征几何与行为判断的解耦机制,为理解模拟视角的内部运作提供了新证据。
Adam Y. Shavit 提出停车问题的形式化分析,区分了静态适配、最终可达性与资源受限可达性三种间隙指标。研究证明在特定场景中,倒车入库与直进式停车的不对称性源于有限操作次数下的修正需求差异:一次反转即可满足倒车入库的最小间隙要求,而直进式停车至少需要两次反转才能达到同等安全裕度。
推荐理由:该文通过形式化论证揭示了倒车入库与直进式停车在有限操作次数下的可达性差异,为理解驾驶员直觉提供了理论依据。
EDGAR 是一种条件扩散框架,旨在修正高斯头像重建中的模糊、拉伸等伪影并保持身份保真度。该方法构建混合数据集 EDGAR-SET,利用自监督 Sapiens 模型提取特征注入一步扩散骨干网络,并采用专家混合架构处理不同退化类型。实验显示其在感知和重建指标上优于原始输出及基线方法,且具备跨视角一致性和极端姿态鲁棒性。代码已开源。
推荐理由:该工作提出利用合成失败案例训练扩散模型以修复高斯头像重建中的伪影,代码已开源。
该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。
推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。
该论文提出分层增量 Beta Splatting(HIBS)方法,将 Beta 核引入在线 3D Gaussian Splatting 以解决初始化差和细节缺失问题。利用几何可观测性和多视角深度一致性进行置信度感知生成,结合误差驱动的重新定位与 LOD 层级优化,在 Mip-NeRF 360 协议下提升 PSNR 最高 0.8 dB 并减少优化时间最多 40%。论文已接受至 WACV 2027。
推荐理由:提出分层增量 Beta Splatting 方法,在在线重建任务中提升 PSNR 并缩短优化时间。
该论文提出一种训练时的形状教师对齐机制,利用预训练的 3D 形状特征作为图像策略编码器的对齐目标,将几何结构转移至纯图像接口策略中。在 LIBERO 基准测试中,该方法使物体和空间套件的政策收敛速度分别提升 4.7 倍和 5.6 倍,同时提高了任务成功率,且部署时无需依赖形状教师或深度输入。
推荐理由:提出形状教师对齐方法,在 LIBERO 基准上加速策略收敛并提升成功率。
arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。
推荐理由:提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。
针对仅拥有正常样本的单类工业异常检测场景,该方法将冻结视觉 Transformer 的深度视为离散状态转移序列,利用层间余弦相似度定位 DINOv2 ViT-L 等模型中的四个关键故障线。
推荐理由:提出基于冻结 ViT 层间故障结构的单类异常检测器,在 MVTec-AD 等基准上实现 99.75 AUROC。
针对基于前沿的探索系统需反复计算机器人位姿与候选视点间测地线成本的问题,本文提出 H-TRIP 方法。该方法利用 Kleene 代数在 min-plus 半环上构建精确距离索引,将地图划分为具有固定边界端口的空间层次结构。
推荐理由:提出基于层次化热带秩一增量传播的精确距离索引,解决多机器人探索中全局捷径导致的缓存失效问题。
该研究提出了一套面向轮式移动机器人的视觉自主导航开源栈,旨在有限传感与计算资源下整合感知、定位、规划与控制。系统连接了YOLOv8n检测、几何方向估计、RGB-D SLAM、轮惯状态估计及运动学感知规划,并通过行为树管理任务。
推荐理由:该研究提供了一套面向轮式移动机器人的视觉自主导航开源栈,集成了YOLOv8n检测与RGB-D SLAM,在Jetson Orin NX上实现了低延迟感知,并公开了数据集与评估日志。
论文提出 Spatiotemporal Training with Explicit Prediction (STEP) 框架,旨在解决感知型人形机器人运动中地形几何与身体状态演化的关联问题。
推荐理由:提出 STEP 框架,联合监督跨模态关系与动作依赖的状态演化,在仿真及硬件实验中提升地形穿越成功率。
论文提出 QMapAnything 框架,针对前馈 3D 重建模型中异质 Token 共享激活量化网格的挑战,证明传统的浮点保持旋转和平滑属于 Token-Blind 重参数化组,仅带来共模增益而保留相对 Token SNR。
推荐理由:提出 QMapAnything 框架,证明旋转与平滑属于 Token-Blind 重参数化,结合统计量 Gamma 预测差异化偏差修正需求。实验显示 W4A8 精度接近全精度,W8A8 显存降低 2.2–3.1 倍且速度提升最高 3.1 倍,为资源受限边缘端部署前馈 3D 重建模型提供高效方案。
arXiv 论文 XM4D 提出一种基于可认证全局最优几何优化的框架,用于准确且高效的 4D 重建。该方法将相机运动估计与非刚性形变分离,分别构建为结构化二次约束二次规划(QCQP)问题,并利用半定规划松弛获得可验证的全局最优性证书。
推荐理由:该工作提出基于可验证全局最优几何优化的框架,在静态与动态场景下实现高精度 4D 重建。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
OcTreeMamba 是一种将八叉树结构融入状态空间模型(SSM)的框架,旨在解决传统启发式扫描策略破坏三维解剖结构内在层次的问题。该方法通过结构学习器进行解剖自适应结构化稀疏化,利用动态八叉树构建者组织多级别拓扑以保留层级连接性,并基于构建的八叉树使用双向 Tree-SSM 沿感知连接的叶 - 父 - 根轨迹传播和整合上下文特征。
推荐理由:提出 OcTreeMamba,通过八叉树稀疏化实现拓扑感知的长程特征传播,在血管数据集上表现优异。
针对现有方法仅关注雨痕而忽略反射与水洼等关键物理效应的不足,该研究提出 CascadeRS 框架,利用深度和分割先验通过物理启发的零样本生成管线,渲染出包含雨痕、反射及水洼的逼真城市雨天场景。作者构建了 Cityscapes-CascadeRS 数据集以评估下游任务在真实雨天条件下的性能,并通过用户研究与定量指标验证了其在感知真实性与鲁棒性上的优势。代码与数据已开源。
推荐理由:该工作提出 CascadeRS 框架,利用深度与分割先验生成含雨痕、反射与水洼的逼真雨天场景,并开源 Cityscapes-CascadeRS 数据集以评估恶劣天气下的视觉鲁棒性。
arXiv 论文提出 SEPT 框架,专为长序列任意点跟踪设计,仅利用事件数据。该方法包含两个模块:任务自适应事件证据调制(TEEM)学习有界可靠性场以加权时空通道特征;持久轨迹先验(PTP)通过边缘化局部二次模型与 Schur 补传递几何信息并修正可见性坐标。
推荐理由:该工作提出仅基于事件相机的长序列点跟踪框架,通过任务自适应证据调制与持久轨迹先验解决稀疏性与漂移问题。
论文提出 FAH(Fast and Accurate Hand Estimation)模型族,基于 SAM 3D Body 手部分支通过微调与特征蒸馏构建。该模型直接预测对应的 2D 和 3D 关节及表面点,拟合 MANO 或 MHR-Hand 网格,并可选估计解剖部位与接触信息(无需物体几何)。
推荐理由:提出 FAH 模型族,通过直接预测 3D 关节与因果细化提升手部估计精度与世界空间追踪能力。