Visual-to-Executable Procedural Reconstruction of Buildings
Zichong Zhu 等人提出了 Visual-to-Executable Procedural Reconstruction of Buildings 方法,旨在从野外图像中恢复可执行的程序化建筑描述以生成可编辑的 3D 资产。
推荐理由:该工作提出从单张图像恢复可执行的 CGA 程序以生成建筑资产,为从非结构化数据构建编辑型 3D 模型提供了新路径。
Zichong Zhu 等人提出了 Visual-to-Executable Procedural Reconstruction of Buildings 方法,旨在从野外图像中恢复可执行的程序化建筑描述以生成可编辑的 3D 资产。
推荐理由:该工作提出从单张图像恢复可执行的 CGA 程序以生成建筑资产,为从非结构化数据构建编辑型 3D 模型提供了新路径。
针对场景坐标回归(SCR)在鱼眼、全景等不同相机模型间泛化能力差的问题,本文提出 Ray-SCR 方法。该方法将局部视觉特征条件化为校准后的观测射线,并利用稀疏 SfM 点作为度量锚点连接不同视图与相机模型。实验表明,Ray-SCR 显著提升了跨相机场景的泛化性能,在针孔、鱼眼及全景相机设置下均达到最先进定位效果。
推荐理由:Ray-SCR 通过射线条件化与稀疏 SfM 锚点,解决了场景坐标回归在多相机模型间的泛化难题。
该研究提出一种基于叠加规则驱动向量场的分布式框架,通过单一标量通信实现多无人机系统的刚性编队路径跟随。实验验证了五旋翼机群在保持 V 形构型追踪螺旋路径及旋转圆形构型追踪垂直线时的有效性,且碰撞避免得到形式化保证。
针对障碍物几何未观测场景,研究者在模拟 Franka Emika Panda 抓取任务中引入水平人工势场奖励项。该方法在半径 0.03m 至 0.055m 范围内将安全成功率维持在 88% 以上,最小间隙达 47.9mm,且消除训练碰撞时间提前至少八倍。该优势在三强化学习求解器及全观测条件下均显著成立,路径长度仅增加约 19%。
针对自主服务机器人在人类环境中社会导航进展受限的问题,该工作提出了 RESONATE 基准,基于统一机器人平台和共享 ROS 2 软件栈,提供精确轨迹真值和结构化社交交互场景。
推荐理由:该工作提供了基于统一平台的社会导航基准,包含可复用的基线、数据及评测协议,支持社区开展人类感知导航研究。
该研究论证在卫星自主巡检任务中,算法选择并非设计核心,关键在于是否允许智能体漂移、记录漂移状态及规划视界长度。移除任一要素会使燃料消耗翻倍,而基于忽略燃料的世界模型代理会浪费数倍燃料。此外,决策层下的控制屏障函数滤波器成功消除了两千年评估回合中的所有禁飞区违规。
论文提出 History Forcing 统一在线策略蒸馏框架,旨在解决少步自回归视频扩散模型在长序列生成中的一致性难题。该方法利用教师模型在有/无历史信息下的预测残差来解耦监督信号,将历史信息约束融入学生模型的分数或速度预测目标中。
推荐理由:提出 History Forcing 蒸馏框架,利用历史信息约束长序列生成,在 1.3B 参数规模下实现 VBench 质量分 85.07。
论文介绍 Trace4D 方法,旨在解决视觉语言模型(VLM)理解物体及其空间关系随时间演化的挑战。该方法训练 VLM 预测 4D 状态序列,并结合时序视觉观察进行推理。
该研究提出了 OctreeSplat 方法,这是一种层级八叉树引导的前馈高斯泼溅技术,旨在解决固定分辨率限制局部复杂度分配的问题。该方法从冻结的视觉基础模型中提取多视图特征和几何先验,构建层级八叉树并预测稠密化分数,从而根据局部复杂度在空间上变化密度地分配高斯原语。
推荐理由:提出层级八叉树引导的前馈高斯泼溅方法,利用冻结视觉基础模型提取特征并预测稠密化分数,在多个基准上实现高质量重建。
论文 SeMo3D 提出选择性建模范式,将 3D 生成、编辑和补全统一为在选定区域合成内容而保持其余部分不变的任务。该方法无需配对数据即可训练,利用区域选择性去噪和多条件扩散 Transformer(Omni3DiT)架构融合图像、文本和点云引导。实验表明其在三个基准测试中超越最先进方法,具备多模态可控性并在编辑与补全任务上保持强一致性和准确性。
论文提出 INTERACT(Interaction-Aware Action-Conditioned Trajectory learning)框架,旨在解决端到端驾驶模型中对象级交互隐含的问题。
论文提出 Gnomon4D 世界动作模型,通过 GeoDelta 几何运动场显式编码物体与机器人点的跨帧位移和深度变化,结合 InSAttn 注意力机制聚焦任务相关交互区域。
推荐理由:该工作提出 GeoDelta 几何运动场与 InSAttn 注意力机制,在仿真基准上超越最强基线,为理解物理交互提供新范式。
论文 Late Autumn 探索利用 LLM 编码代理进行自主研究,将通用的多机器人规划器特化为适应特定仓库布局的方案。研究在模拟现有自动化仓库的地板上进行了六次实验,发现该方法能将吞吐量提升 22% 至 60%,且该增益在未见过的新种子数据上依然成立;代理重新发现了走廊出口优先级、局部引导等已知机制。
该论文提出了 GEAR(Generative Editing for Asset Retrieval)框架,旨在解决虚拟环境中用户着装需与周围场景和谐共存的挑战。
推荐理由:提出 GEAR 框架,通过生成中间查询桥接场景与服装资产跨域差距,在虚拟旅行场景中实现实时检索与试穿。
arXiv 论文发布 AgiWorld,这是一种代理式视频世界模型,旨在从单张图像和自由指令出发构建并探索持久化世界。系统包含负责高层规划与路径设计的 AgiWorld-Agent 和负责逐帧生成视频的 AgiWorld-WM,两者共享空间记忆以维持状态一致性与用户意图忠实度。
推荐理由:提出 AgiWorld,通过智能体与视频模型的闭环及空间记忆机制解决长序列探索中的持久性问题。
论文针对交互式交通中不可观测的人类特征及多智能体互动的互惠性,提出统一信念空间模型预测控制框架,将信息清晰度作为显式规划变量与安全性规范协同设计。该方法在车道汇入和无信号灯路口场景中,相比代表性基线方法,在 5000 次仿真中取得最高成功率(94.6% 和 93.2%)及最低碰撞率(1.2% 和 1.4%)。材料为预印本,已提交至 ICRA 2027。
E$^2$Forecast 采用双分支 Transformer 架构,通过高斯与修正流分支在嵌入空间直接预测未来状态。该方法将 Sentinel-1/2 基准上的余弦距离从 0.20 降至 0.10,并将 z-score 标准差由 2.63 降低至 1.22。此外,模型在无标签情况下实现异常变化检测,F$_1$分数从 41.58 提升至 48.70,且代码已公开。
该研究提出离散时间 Vicsek 多智能体模型的定向有界置信度变体,利用状态依赖矩阵独立调节视线坐标系下的正交径向与切向分量。理论证明了任意网络状态下提案向量的均匀非消失下界及局部小扩散态的线性几何收缩性,数值实验在多种子基准上展示了优于未过滤平均和标量基线的固定边界对齐效果。
该研究引入 Directional Bounded-Confidence Cucker-Smale (CS) 模型,通过分解相对速度建立能量耗散恒等式与集群收敛保证。仿真验证了精确耗散平衡,证实方向性门控机制在传统各向同性置信律导致极化场景中成功恢复全局对齐。论文为 arXiv:2611.02173v1 预印本,属于机器人学领域理论进展。
论文指出机器人基础模型在闭环执行中的物理安全并非独立属性,而是环境、模型、计算平台及执行策略交互的结果。研究基于 pi0.5 模型在 LIBERO 基准上的 4,000 次闭环实验发现,400 ms 推理延迟虽仅使安全违规率从训练视角提升 3.5 个百分点,但在 60 度相机偏移场景下却激增至 37 个百分点,其交互效应比两因素简单叠加高出 33.5 个百分点。
针对具身智能体在路线问答任务中如何有效利用场景图记忆的问题,本文提出一种图交换测试法来诊断视觉语言模型(VLM)是否真正依赖该记忆。研究发现在两条至七条房间的路线基准上,文本形式能显著提升回答准确率,而标准池化或延迟融合方式下的图编码则无法被模型利用;仅当为每个节点分配独立输入 token 时才能部分恢复效果。
针对现有视觉语言模型(VLM)缺乏对可见区域感知的缺陷,研究提出 LOOK 任务以识别模型视觉输入中的可用部分。实验表明,未经微调的 VLM 无法定位可见区域,而通过该自监督任务微调后显著提升了模型对视觉输入的感知能力。该方法无需人工标注即可构建,为理解视觉内容提供了新的基础视角。
论文提出 RECONSPATIAL 基准,利用真实多视角图像要求大语言视觉模型预测共享坐标系下的定向 3D 边界框,评估结构布局与度量精度两个维度。实验显示 GPT-6-Astra 等前沿模型在结构任务表现优异但度量重建存在显著差距,诊断分析表明仅靠关系一致性无法保证物理尺度准确,且几何误差会限制导航成功率。
推荐理由:该基准通过多视角重建任务揭示大模型在相对结构与度量精度间的差距,并验证了空间微调的泛化能力。
该文针对具身问答任务中‘答案正确但未见’的问题,提出了一个包含 200 个测试集和 800 个问题的多房间基准。研究通过固定问题并仅改变证据供给(从纯文本探针到闭环智能体再到轨迹回放)来评估证据利用情况。
论文提出 VLSplat,一种利用视觉语言模型和场景图进行物体中心语义提升的 3D 高斯泼溅方法。该方法在掩码提升基础上引入物体级语义先验,并通过组内抑制噪声与组间扩展支持区域两个语言引导模块优化高斯表示。实验表明其在室内场景数据集上提升了物体类别的语义一致性与结构完整性。代码与模型已开源,论文已被 NeurIPS 2026 接收。
该报告针对计算机图形学中代理系统研究术语分散、难以系统理解的挑战,提出两项贡献:一是建立涵盖多样化任务的代理系统统一分类法;二是开发辅助人类研究者大规模分析现有及新发表论文的代理文献系统。基于此,报告分析了新兴研究趋势,并讨论了跨任务协调代理与工具、设计人机协作界面与表示、维持长程规划与细化以及可靠评估交互式图形系统等开放挑战。材料为预印本论文,未涉及具体产品发布或真实部署结果。
推荐理由:报告提出计算机图形学代理系统统一分类法与文献分析工具,梳理多任务趋势并探讨人机协作、长程规划及评估等挑战。
针对自回归视频生成长序列中误差累积导致质量下降的问题,本文提出了 Learning to Memorize (L2M) 框架。该方法利用重要性预测路由器动态保留和剔除历史帧,结合感知退化的训练策略及基于指数移动平均的记忆初始化机制,在固定 KV-cache 预算下提升长视界生成的质量与时间一致性。论文已获 NeurIPS 2026 接收。
该论文提出了 OpenNWM 导航世界模型,旨在通过预测未来观测来支持规划,并解决因缺乏动作标注数据导致的泛化受限问题。研究引入了 NavAnywhere 数据集,包含来自 15 个异构来源的 1750 万条无动作导航视频,涵盖地面机器人、人类和无人机在五种场景类型中的运动模式。
针对视频世界模型的预测误差常被误作物理惊奇,该研究提出新评估框架以区分外观、静态内容及普通预测难度。在 IntPhys2 基准上对比发现,V-JEPA2 仅暴露有限的可能性信息,且固定误差阈值会错误标记许多可能事件为不可能。结论表明模型虽能表征物理信息并响应错误动作,但其原生预测误差无法可靠衡量物理惊奇。
MMCoT$^3$是首个将文本推理与任务相关 3D 证据显式交错的 3D 场景理解框架,通过歧义感知证据聚合机制解决多实例对齐问题。该方法基于包含约 176.2K 实例的 PointCoT 大规模指令微调数据集进行训练。在六个基准测试上的实验表明,该模型显著提升了性能并取得了最先进结果,有效避免了幻觉与推理错误。
GatedVLA 作为 PAI-AV 赛道参赛方案,通过视觉掩码优化策略并在部署端集成规则式自动紧急制动(AEB)模块。该模型在包含 150 个场景的局部闭环评估中,将平均场景得分从 0.479 提升至 0.599,同时将负有碰撞责任的场景数由 34.0 降至 11.0。
EgoMo3R 是一个联合优化框架,旨在从随意的单人称视频中同时重建三维人体运动和场景几何。该方法利用单目深度、光流和点跟踪等低层视觉几何先验,并结合基于扩散的人体运动先验进行一阶优化。
论文提出 GSExplorer,这是一个围绕持久化 3D Gaussian 世界状态构建的生成 - 重建框架。该方法利用当前 3DGS 场景为条件驱动的视频生成器提供多模态渲染条件,并通过独立的相对射线编码分支注入相机几何信息;生成的视频反馈给基于 SLAM 的重建后端,通过不一致性过滤防止冲突内容破坏场景,并利用跨块束调整优化空间对齐。
论文提出了 DriftingPlanner,这是一种基于漂移损失训练的轨迹规划器,无需坐标回归项即可通过一步推理解码自车轨迹。该方法将类条件图像生成的漂移技术迁移至规划场景,利用每场景的吸引 - 排斥场机制,在 NAVSIM navtest 基准上实现了 93.75 PDMS 的最优性能,其单步推理结果与最佳扩散或流匹配设置(需十步推理)仅差 0.13 PDMS。
推荐理由:提出 DriftingPlanner,通过训练端一步生成器实现端到端轨迹规划,在 NAVSIM navtest 上达到 SOTA 性能。
论文提出 StreamDuo 系统,旨在让模型对未见过的新游戏进行实时解说。该系统由可训练的评论员和冻结的研究代理组成,后者通过读取游戏维基为评论员提供未知实体的信息。研究在 Baldur's Gate 3 上训练并在十个未见游戏中测试,结果显示该方法将实体召回率从 0.082 提升至 0.116,同时将源游戏信息泄露从 9.9% 降至 1.0%,且在时序和生动性方面表现最佳。
QVR3D 提出一种基于 RGB-D 观测的查询引导视觉推理框架,通过 QGMC 选择互补视图并结合 GPE 估计定位概率。该方法在 ScanRefer 和 Nr3D 数据集上实现了零样本状态最优性能,且无需任务特定适配即可支持单多目标定位。代码已开源,QGMC 还提升了多个三维视觉语言任务的帧效率。
该论文研究灵活路线公交(FRT)系统的实时运营控制安全问题,提出 Hi-CoLA 框架以解决强化学习策略缺乏统计性能保证的问题。该方法结合重要性采样、集中不等式与可微代理网络,高效估计高置信度性能下界并通过策略梯度优化。在芝加哥某实际路线的 SUMO 仿真案例中,Hi-CoLA 在平均和尾部风险性能上均优于最先进的离线及安全强化学习方法。材料为预印本,尚未通过同行评审。
论文介绍了 pico-WAM 这一提供物理状态的紧凑世界动作模型,用于追踪策略与动力学交互。研究基于 206 个 Push-T 演示和 15 次训练种子,对比了不同数据 regimes 与搜索配置。
针对向量化重置条件下终止时序差异导致初始状态不一致的问题,研究提出包含 I1-I5 不变量、溯源日志及自动检查器的评估完整性框架。受控实验显示同步控制下无 ID 错配,但异步冻结批次映射存在不匹配且机制未完全隔离。建议在进行配对统计前核查声明与解析的初始化状态身份及溯源信息。
该研究针对交互式视频世界模型在撤销动作后无法正确读取当前状态的问题,提出了一种名为 ReDate 的方法。该方法利用智能体行动日志中的有效时间戳对检索到的帧进行标记,使冻结的生成器能区分新旧视图而无需重新训练。
推荐理由:提出基于有效时间戳的 ReDate 方法,无需训练即可解决交互式视频世界模型在撤销操作后的状态读取错误问题。