Spatial Harness:基于物理引擎的可执行世界状态实现空间推理落地
Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。
推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。
推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。
该技术报告定义了具备持久状态和因果一致性的生成式世界模型框架,并推出 WorldFoundry 开源基础设施以支持视频、3D 及具身动作系统的可复现推理与评估。
推荐理由:该报告提出统一基础设施以支持视频、3D及具身智能系统的可复现推理与评估,涵盖感知锚定、持久状态建模等核心要素。
论文提出 RAYEN 框架,旨在解决学习系统中难以同时保证硬凸约束满足且计算成本高的问题。该方法支持线性、二次、二阶锥及线性矩阵不等式等多种约束组合,无需昂贵的正交投影或软约束近似,在训练和测试阶段均能确保任意输入与权重下的约束满足。
推荐理由:RAYEN 框架在训练与测试阶段均保证硬凸约束满足,相比现有方法显著降低计算开销并提升轨迹优化求解速度。
针对室内行走片段化导致步态识别受限的问题,该研究提出利用毫米波雷达点云进行日常生活活动(ADL)的人员身份识别。作者构建了包含七类核心 ADL 的 mm-ADL 数据集,并提出了双流静态动态 PointNet(DS-SDPNet)架构以捕捉空间形态与运动动力学特征。
推荐理由:该工作提出 DS-SDPNet 架构,在毫米波点云上实现跨日常活动的身份识别,为稀疏雷达数据下的生物特征分析提供了新基准。
该论文提出 ReFlowSET 框架,旨在从合成孔径雷达(SAR)观测生成光电(EO)影像。针对现有方法依赖预训练自然图像编码器的局限,该方法通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练较小的条件 DiT。
推荐理由:提出 ReFlowSET 框架,通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练条件 DiT,实现 SAR 到 EO 图像翻译的最先进性能。
该研究提出了首个行为世界模型(BWM)InterTrack,旨在解决通用运动追踪器仅适用于平地而跨地形控制器任务特定的问题。其 Transformer 架构联合预测动作、状态及行为分布,学习环境条件化的动力学;通过自动标注管道从重定向动作重建三维支撑几何以扩展交互训练数据。
推荐理由:报告提出首个行为世界模型 InterTrack,在复杂地形交互与跌倒恢复上显著优于基线,并提供了代码、数据及预印本链接。
视觉 - 语言 - 动作模型(VLA)常因数据集偏差而依赖视觉捷径,忽视语言指令意图。该工作提出首个反事实基准 LIBERO-CF,在相同场景布局下分配替代任务以评估语言遵循能力。
推荐理由:该工作提出首个 VLA 反事实基准 LIBERO-CF,并给出无需修改架构的 CAG 方法以缓解视觉捷径导致的指令遵循失效问题。
论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。
推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。
该论文针对具身智能体在仿真基准测试中暴露验证标准(Criteria Exposure)的做法提出质疑。研究发现,当智能体被暴露于此类标准时,虽能快速生成高评分代码,但一旦标准微调便失效,且技能跨任务迁移性差。作者进一步提出了更忠实于指令的验证标准方案。
推荐理由:实验表明暴露验证标准会导致模型过拟合评分而非完成任务,且技能迁移性差。
该研究调查了 persona-conditioned visual interestingness 在 Qwen3-VL-8B-Instruct 中的表征几何,发现早期层主要编码图像身份,而特定人物结构出现在深层。提示词框架对内部表征的重塑作用强于人物身份,但人物内容对行为判断影响更大,表明表征距离不一定反映行为相关性。
推荐理由:揭示了多模态大模型中表征几何与行为判断的解耦机制,为理解模拟视角的内部运作提供了新证据。
Adam Y. Shavit 提出停车问题的形式化分析,区分了静态适配、最终可达性与资源受限可达性三种间隙指标。研究证明在特定场景中,倒车入库与直进式停车的不对称性源于有限操作次数下的修正需求差异:一次反转即可满足倒车入库的最小间隙要求,而直进式停车至少需要两次反转才能达到同等安全裕度。
推荐理由:该文通过形式化论证揭示了倒车入库与直进式停车在有限操作次数下的可达性差异,为理解驾驶员直觉提供了理论依据。
EDGAR 是一种条件扩散框架,旨在修正高斯头像重建中的模糊、拉伸等伪影并保持身份保真度。该方法构建混合数据集 EDGAR-SET,利用自监督 Sapiens 模型提取特征注入一步扩散骨干网络,并采用专家混合架构处理不同退化类型。实验显示其在感知和重建指标上优于原始输出及基线方法,且具备跨视角一致性和极端姿态鲁棒性。代码已开源。
推荐理由:该工作提出利用合成失败案例训练扩散模型以修复高斯头像重建中的伪影,代码已开源。
该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。
推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。
论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。
推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。
针对现有康复系统仅预设运动学轨迹而忽视神经肌肉激活的问题,该研究提出一种可个性化的 Transformer 模型,将表面肌电信号映射为与末端执行器交互时的接触力轨迹。
推荐理由:该研究提出基于 Transformer 的模型,将肌电信号映射为康复机器人的接触力轨迹,在健康受试者实验中实现了低误差预测与即时推理。
ManimCode 是一个针对教育动画生成的数据与训练框架,旨在解决渲染后存在的视觉缺陷、解释缺失或内容错误问题。研究构建了包含 24,034 条经过渲染验证和过滤的 ManimData 数据集,记录了中间程序、执行错误及修正轨迹。
推荐理由:该工作提出 ManimCode 框架,利用渲染反馈数据训练单模型实现教育动画的视觉自我修正与代码迭代。
该论文提出分层增量 Beta Splatting(HIBS)方法,将 Beta 核引入在线 3D Gaussian Splatting 以解决初始化差和细节缺失问题。利用几何可观测性和多视角深度一致性进行置信度感知生成,结合误差驱动的重新定位与 LOD 层级优化,在 Mip-NeRF 360 协议下提升 PSNR 最高 0.8 dB 并减少优化时间最多 40%。论文已接受至 WACV 2027。
推荐理由:提出分层增量 Beta Splatting 方法,在在线重建任务中提升 PSNR 并缩短优化时间。
该论文提出一种训练时的形状教师对齐机制,利用预训练的 3D 形状特征作为图像策略编码器的对齐目标,将几何结构转移至纯图像接口策略中。在 LIBERO 基准测试中,该方法使物体和空间套件的政策收敛速度分别提升 4.7 倍和 5.6 倍,同时提高了任务成功率,且部署时无需依赖形状教师或深度输入。
推荐理由:提出形状教师对齐方法,在 LIBERO 基准上加速策略收敛并提升成功率。
arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。
推荐理由:提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。
图像分类模型常因测试时上下文环境与训练期差异而性能下降,这种现象称为上下文偏移。本文提出一种新训练框架,利用空间特征归因引导模型更依赖物体相关特征而非背景线索。
推荐理由:提出 ContrastiveCAMs 与 CR-CE 方法,通过抑制非因果上下文线索提升卷积网络在分布偏移下的鲁棒性。