SceneReVis:一种用于 3D 室内场景合成的自反思视觉 grounded 框架
针对现有一次过三维场景合成方法易产生碰撞等空间幻觉的问题,论文提出 SceneReVis 框架,利用多模态反馈执行迭代的诊断与行动循环以显式拦截并解决冲突。研究构建了包含因果构建轨迹的 SceneChain-12k 大规模数据集,并提出从监督微调过渡到智能体强化学习的两阶段训练方案。
推荐理由:提出基于多轮强化学习的自反思框架,通过因果构建轨迹数据集解决三维场景合成中的空间冲突问题。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
针对现有一次过三维场景合成方法易产生碰撞等空间幻觉的问题,论文提出 SceneReVis 框架,利用多模态反馈执行迭代的诊断与行动循环以显式拦截并解决冲突。研究构建了包含因果构建轨迹的 SceneChain-12k 大规模数据集,并提出从监督微调过渡到智能体强化学习的两阶段训练方案。
推荐理由:提出基于多轮强化学习的自反思框架,通过因果构建轨迹数据集解决三维场景合成中的空间冲突问题。
针对多模态大语言模型(MLLM)在少样本细粒度视觉分类任务中易过拟合的问题,论文提出 UniFGVC 框架,将任务重构为基于预定义类别模板的多模态检索问题。其核心是属性感知模块 Category-Discriminative Visual Captioner,利用思维链推理生成富含判别性视觉属性的结构化描述,结合任意预训练编码器进行特征提取与相似度计算。
推荐理由:提出无需微调的通用少样本细粒度分类框架,通过属性感知多模态检索解决 MLLM 在稀疏数据上的过拟合问题。
针对传统卡尔曼滤波在远距离和遮挡场景下因运动模型失配导致的状态漂移问题,本文提出一种运动动力学卡尔曼滤波(MD-KF)。该方法通过时间建模捕捉物体运动变化并自适应调整运动分量贡献,以修正预测漂移,同时保留单模型结构以维持计算效率。
推荐理由:提出单模型结构的运动动力学卡尔曼滤波,在保持效率的同时提升远距离与遮挡场景下的跟踪精度。
针对全页文档解析中需保留异构元素内容与结构但易出现局部误差的问题,本文提出 Page-to-Token Policy Optimization (P2TPO) 框架。该方法通过参考元素对齐、统一锚点定价和跨度信用重分布等机制,在固定权重加性页面效用下保留局部质量差异。实验显示,P2TPO 在六个文档解析基准测试的种子平均分数上优于所有评估的策略优化基线,并在不同模型规模和初始化条件下均表现增益。
推荐理由:提出 P2TPO 框架,通过结构对齐的信用分配解决全页文档解析中的局部误差问题,在六个基准测试上优于所有策略优化基线。
arXiv 论文介绍 Mallea 系统,该系统利用编码智能体从文本提示中推断物体交互需求,联合规划物体结构、属性及规则以支持紧凑表示。系统通过生成式渲染器结合当前结构与记忆的纹理外观来推进世界状态,并允许用户动作引导演化或编辑属性而不影响现有状态。材料为预印本版本,未报告真实机器人部署结果。
推荐理由:原文提出 Mallea 系统,通过编码智能体构建可编辑的文本驱动世界模型,支持对象交互规划与纹理记忆。
论文指出标准掩码策略会导致 3D 点云 SE(3)等变网络发生拓扑坍缩,迫使模型在无参考系下幻觉方向。为此提出 SIEVE(Scalar Invariant Extraction Via Equivariance)框架,利用球面投影掩码在保留全局姿态的同时模糊局部语义,从而规避该障碍。
推荐理由:该文提出 SIEVE 框架解决 SE(3)等变网络在点云掩码自监督学习中的拓扑障碍,实验显示其优于坐标基线与手工描述符。
该论文提出了 Modality Self-Play (MSP) 框架,旨在解决对齐多模态数据集昂贵且难以扩展的问题。该方法利用代理文本描述作为未见模态的语义桥梁,使模型在仅观测到真实锚点模态(如图像或音频)及伴随的代理描述的情况下,无需真实的成对非文本监督即可实现零样本跨模态组合与推理。
推荐理由:提出无需成对跨模态数据的训练框架,利用代理文本作为语义桥梁实现零样本多模态组合。
该论文提出了 SHRED 框架,通过大规模异质性自博弈联合训练车辆、行人和骑行者,无需依赖人类驾驶演示或轨迹回放。实验显示,该方法在 Waymo Open Sim Agents Challenge 中优于无演示基线及参考策略方法,且在 nuPlan 地图几何零样本评估下保持真实感;在交互密集的 InterPlan 基准上规划性能全面领先。消融研究表明自博弈中的异质性显著提升了交通真实性和规划效果。
推荐理由:提出无需专家演示的异质交通参与者自博弈框架,在仿真挑战中优于基线并提升规划性能。
针对文生视频模型难以满足自然语言提示中的时序、持续性及顺序要求的问题,研究团队提出了一种名为 TSG 的无训练推理时间框架。该方法将时序需求表示为形式化时序逻辑规范,利用可微量化语义对视觉概念证据轨迹进行评分,并基于梯度构建规范引导的去噪方向。
推荐理由:提出无需训练的推理框架,利用形式化时序逻辑引导视频生成以解决时序与持续性难题。
LIBERO-PeRM 是一个用于具身智能体偏好学习的新基准,旨在解决通用机器人进入家庭环境时的个性化难题。该研究在仿真环境中构建了包含 312 个任务的高质量演示数据集,并提出了可自动评估的偏好满足指标体系。
推荐理由:该基准通过受控仿真区分任务完成与偏好满足,揭示当前 VLA 策略在零样本个性化上的局限及混合训练对运动学习的潜在影响。
arXiv 论文提出 SoftCache 方法,针对扩散和流模型生成成本高痛点,利用网络输入探测信号的头余量(headroom)预测复用误差,实现软性缓存而非硬性开关。该方法无需训练且无额外配置,在 FLUX、HunyuanVideo 及 Wan2.1 等模型上,于图像和视频任务中均取得优于所有基线的表现,加速比达 3.5 至 6.9 倍,且在四项保真度指标上领先。
推荐理由:提出无需训练的 SoftCache 方法,利用激活头余量自适应调整扩散采样步长,在 FLUX、HunyuanVideo 等模型上实现 3.5-6.9 倍加速。
论文介绍 T2-Z 方法,该方法为机器人世界模型引入可学习的无监督环境潜变量,在训练阶段交替优化动力学与潜变量结构,在测试阶段仅凭少量交互即可适配新环境。实验显示,该方法在仿真和真实任务中将物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%,且能高效捕捉环境与物理因素的联合表征。
推荐理由:该工作提出在测试时优化环境潜变量以适配未见过的环境配置,显著降低预测误差并提升任务成功率。
论文介绍了 P^3-WAM,这是一个用于第一人称灵巧操作的统一世界动作模型,通过学习感知、预测和规划三种互补模式来整合 3D 动作表示与预训练视频扩散 Transformer。实验表明,统一训练在四个数据集上的 3D 手部重建、动作条件视频预测以及指令遵循度上均优于专用基线,且无需将单一任务拆分为独立模块。
推荐理由:该工作提出了统一的 P^3-WAM 模型,通过单一架构同时实现手动作重建、视觉未来预测与目标导向规划。
论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。
推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。
针对视觉预训练难以捕捉接触力与滑移等触觉信息的难题,该研究提出 Spark-0 模型,利用触觉手套数据构建 HumanTouch 数据集进行大规模预训练。实验表明,在保留触觉信号的情况下,Ego Humanoid 基准测试成功率从 52.5% 提升至 71.7%,SparkArena 真实机器人任务成功率从 44.0% 提升至 52.0%,验证了触觉作为策略输入及可缩放监督信号的有效性。
推荐理由:该工作提出 Spark-0 模型与 HumanTouch 数据集,证明在灵巧操作中保留触觉信号可显著提升视觉预训练的成功率。
论文提出 DSP(Dexterity from supervised play)框架,机器人通过行为克隆从几分钟的人类游戏中学习策略,进而自主执行以收集小时级交互数据用于训练世界模型;推理阶段利用该策略引导模型预测控制并蒸馏闭环策略。
推荐理由:提出 DSP 框架,通过监督游戏自主收集数据训练世界模型与策略,在少样本下实现灵巧操作。
arXiv 论文介绍了一种名为 PSA-PPO 的目标条件化局部到达框架,专为温室 NFT 水培生菜采摘设计。该研究在 Isaac Lab 仿真环境中完全训练了策略,无需真实世界微调即成功迁移至物理 UR10e 机械臂。
推荐理由:该研究提出了一种用于温室水培生菜采摘的强化学习框架,在仿真中训练后直接迁移至真实机械臂,实现了高成功率与低抖动。
论文介绍 MJev-Spatial,这是一个基于 Qwen3.5-4B 构建的 System 1 多模态决策模型,旨在解决空间关系判断、距离测量和物体定位等任务。
推荐理由:该工作提出 MJev-Spatial,通过原生注意力匹配将空间理解任务转化为分类问题,在保持高精度的同时显著提升了推理速度。
作者发布了 REKI,这是一个 2.4B 参数的视觉语言动作模型(VLA),仅使用公开数据进行预训练。该模型在 LIBERO-Plus、RoboTwin Clean2Rand 和 RoboCasa365 等基准测试中表现优异,性能接近两倍大模型的规模。
推荐理由:该 VLA 在仅用公开数据预训练下,以较小规模达到接近两倍大模型的 LIBERO-Plus 等基准表现。
针对现有 Splatting 方法依赖迭代非线性优化导致计算耗时和显存占用高的问题,本文提出 CF-Splat 框架。该方法在已知网格几何和标定相机条件下,将渲染像素颜色表示为顶点球谐系数(SH)的线性函数,从而将多视角外观估计转化为全局线性最小二乘问题,无需迭代优化。
推荐理由:提出基于已知网格的闭式三角形 Splatting 框架,将渲染问题转化为全局线性最小二乘求解,显著降低计算与显存开销。