Craftax 中程序策略与目标编译器的续写引导 LLM 进化
针对长视界任务中局部改进损害最终成功率及切换目标需重新合成的挑战,该研究提出反馈级联框架。在 Craftax 游戏中,通过从回合回报到分层目标的反馈优化,策略到达终局频率从低于 1% 提升至 50%,击败最终 Boss 达 28%。
针对长视界任务中局部改进损害最终成功率及切换目标需重新合成的挑战,该研究提出反馈级联框架。在 Craftax 游戏中,通过从回合回报到分层目标的反馈优化,策略到达终局频率从低于 1% 提升至 50%,击败最终 Boss 达 28%。
该论文研究了同策略蒸馏(OPD)如何重塑语言模型智能体在数学、ALFWorld 和 tau^2-bench 等任务中的 ReAct 交互模式。研究发现,通用推理监督能将数学工具尝试率从 70.4% 降至 14.4%,准确率从 16.7% 提升至 38.0%;代码解释器监督改善了家庭操作和零售查询能力。
论文提出一种混合决策模型(HDM),利用冻结骨干网络配合轻量级自路由块,在单次前向传播中实现零思考或全思考两种模式切换。该方法通过校准的决策策略优化(CDPO)从回合级回报中学习何时进行推理,并在 MMLU-Pro、AGIEval 及 MiniWoB 等基准上验证了其在保持精度的同时显著降低延迟和 Token 成本的效果。
推荐理由:提出零思考或全思考的混合决策模型,通过自路由块动态评估推理价值以平衡精度与延迟。
该研究提出"AI Sandbox"装置定义及五种原型架构,建立十五维测量指标与最弱环节许可规则以界定部署主张。框架涵盖驾驶、工业控制等四类实例的威胁建模,明确实验边界对证据解读的影响并映射至标准规范。预印本 arXiv:2606.18532 含 42 页正文及图表,旨在识别受控实验支持的声明与需进一步验证的假设。
针对生成式 AI 在平面图生成中缺乏设计目的性、难以直接评估的问题,本文引入空间句法理论构建中间表示(design container),提出 RPLAN-SSI 基准以量化公共空间的整合优势。研究发现生成模型存在功能布局差距,并通过 SSPT 后训练方法在五种扩散模型骨干上有效缩小该差距,同时保留原有机制。
GlyphAnchor 是一种针对图文生成与编辑扩散 Transformer 模型的新型文本渲染增强方法,利用轻量级字形块条件并通过模型原生位置编码将其锚定至目标图像。
本文介绍 CamChoreo,这是首个针对时空 grounded、组合式相机运动理解的基准,包含 4,229 个带有专家时间标注的多样化单镜头片段。研究提出 CamDistill 方法,将冻结 3D 基础模型的几何知识蒸馏为轻量级相机 token,在无需推理时运行昂贵 3D 模型的情况下,显著提升了视觉语言模型的性能。
该论文研究了交互式视频世界模型中的视觉持久性问题,发现当生成长度超出训练范围时,基于 KV Cache 的模型因位置编码偏移过大而难以检索信息。作者提出无需训练的 WorldTrace 框架,通过为压缩后的记忆槽分配独特的虚拟位置来保持可寻址性,并利用模型自身的注意力机制决定保留哪些观测或合并冗余内容。
TextGaze 提出一种统一跨模态架构,利用冻结编码器提取视觉特征并借助大视觉语言模型获取 gaze-aligned 文本线索。该方法在四个主流数据集上评估,无需额外微调即展现出关键指标上的竞争力与鲁棒的跨数据集泛化能力。研究为传统设计提供了简化替代方案,突显了 LVLM 作为可访问辅助引导的潜力。
论文提出了 GUSH3R(Gaussian-Unified Scene Human 3D Reconstruction)框架,旨在解决从单目视频中联合建模场景几何、相机运动与非刚性人体动态并实现照片级渲染的挑战。
推荐理由:该工作提出 GUSH3R 框架,利用单目视频一次性重建动态人物与场景为 3D 高斯泼溅,在保持几何一致性的同时显著提升推理效率。
论文 Fill the GAP 提出一种针对多模态大语言模型(MLLM)的视觉隐式推理新范式,旨在解决现有方法因特征空间失配导致的不稳定增益问题。该方法在数据、特征和模型三个层面进行对齐:利用可检查的辅助视觉监督锚定隐式目标;通过轻量级 PCA 对齐头将解码器输出映射为输入兼容的视觉潜变量;并选择性地将隐式监督分配给基础模型表现困难的样本。
论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。
推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。
MarsRetrieval 是一个针对火星地理空间发现设计的检索基准,涵盖成对图文检索、地貌检索及全球地理定位三项任务。评估显示即便强基础模型也难以捕捉特定地貌差异,证实了领域微调在行星环境下实现泛化地理空间发现的关键作用。代码已公开,适用于计算机视觉与天体物理仪器方法研究。
针对无人机图像感知中目标密集、背景杂乱且简短提示指导不足的问题,本文提出无需微调的代理框架 AerialVP。该方法通过基于大模型的 Task Engine 动态分析原提示特异性,选择性融合图像语义、空间位置及物体关系等线索以增强提示,从而利用视觉语言模型预训练的对齐与推理能力降低目标歧义。
论文提出 SAGAS 框架,解决线性时序逻辑(LTL)机器人规划中模型合成依赖准确状态机、学习方法需在线交互的权衡问题。该框架在无动力学模型与任务演示的离线设置下,利用固定轨迹片段学习可复用的隐式可达性图与冻结的目标条件执行器。
LENS 是一种专为多模态大语言模型(MLLM)设计的即插即用范式,通过冻结主模型并附加轻量级头部来提取注意力图关键点以实现像素级分割。实验表明该方法在保持与重训练方法相当的分割性能同时,有效避免了通用能力的灾难性遗忘。该成果已发表于《国际计算机视觉杂志》(IJCV),相关代码与论文版本 v2 可通过 arXiv 获取。
论文介绍 CineWild,这是一种针对野生动物纪录片的无人机自主航拍模型预测控制(MPC)框架。该方案联合控制无人机运动与相机焦距,通过自适应变焦、避开动物视野及平滑低噪机动,在影像质量与动物福利间取得平衡。研究在仿真环境中进行了消融实验并与基线对比,同时在真实世界完成了感知与相机执行管线的概念验证。作者表示将开源代码。
论文提出了 Agentic Aerial Cinematography (ACDC) 框架,旨在弥合智能体在数字环境中的推理能力与物理世界任务执行之间的差距。该框架通过执行器将智能体对电影意图和视觉判断的解释锚定在场景几何与飞行约束上:给定自然语言请求和三维场景表示,智能体选择相关视角并通过视觉反馈进行优化,随后利用优化与运动规划生成可执行的无人机航迹。
LLM-to-Phy3D 提出一种新颖的在线黑盒优化循环,通过视觉与物理评估反馈驱动大语言模型实时生成符合物理约束的三维设计。在车辆设计优化消融研究中,该方法相比传统 LLM-to-3D 模型使目标域设计的物理合规性提升 4.5% 至 106.7%,显著增强了几何新颖性与工程性能。该成果已被 IEEE CEC 2026 接收并发表,为科学和工程领域的生成式设计提供了新的 AI 驱动解决方案。
该研究提出基于 Transformer 的 4D 分割框架,融合时空信息以区分物理变化与分割误差。在矿物溶解数据集上,该方法比忽略时序信息的等效 3D 模型更准确地测量孔隙体积增长和岩石边界,且无需逐图调整参数即可将数百张三维图像转化为可靠的量化数据。
该论文提出了一类定义在扩展特殊欧几里得群 SE_n(3) 上的贝叶斯共轭分布,通过限制矩阵高斯分布来避免局部坐标奇点。该方法支持对广泛采样分布的精确闭式贝叶斯推断,并推导了最大化概率与最小化均方误差的最优估计量。
CABOT 是一种将环境网格设为主动计算介质的新模型,使无需灯光或内存的弱能机器人能在四状态下实现排线与无限探索。该模型在仿真中验证了五状态场静默排线、三状态任意聚集及迷宫引导等能力,证明环境资源而非机器人自身是核心度量。研究通过 19 页论文与 5 幅图示展示了从惯性地板到活性网格的范式转变。
AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。
推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。
针对现有遥感智能体依赖预定义知识或参数更新的问题,本文提出 SkillEarth 方法,能够从演示轨迹中自动提取可复用的工具调用知识并实现观测驱动的演化。该方法结合双裁判反馈与基于观测的路由图进行组件级精细化,在 OpenEarth-Bench 和 Earth-Bench 上展现了优于现有方法的工具选择、参数正确性、执行顺序一致性和任务完成率,且支持跨大模型复用而无需重新训练。
针对土星探测极端环境,该方法提出物理约束掩蔽近端策略优化(PCM-PPO)以实现自主任务规划。研究建立土星特定离散马尔可夫决策过程并融入系统动力学与几何模型,通过物理约束动作掩码构建可行决策域以规避不可行探索。对比、消融及不确定性实验验证了该方案在资源受限下的有效性,为深空探测提供了可行且可解释的自主规划路径。
该研究通过跨 6 个模型家族的 10 种多模态配置进行因果消融,对比了邀请心理场景构建的空间意象任务与仅靠符号规则可解的符号操作任务。在 Chameleon-7B 中,消融视觉语言轴投影导致 BIG-Bench Hard 导航任务准确率下降 27.6 个百分点,而布尔表达式保持完整并提升 5.6 个百分点,形成 33.2 个百分点的双离解效应。
针对无人机视觉语言导航(VLN)中因三维运动预测误差导致碰撞的挑战,作者提出 ProtoVis-Nav 框架。该方法迫使模型为预期的下一个动作想象与结果关联的局部视觉表征,通过预测特征原型及其线性组合来估计目标区域的视觉特征,从而促进视觉上下文与航点输出的对齐。实验表明该框架在现有基线上取得了显著改进。
arXiv 预印本介绍 Spatial Foundry 数据集,包含 5,280 个带家具的住宅 3D 场景配置及对齐的视觉、几何与时间数据。模态涵盖平面图、RGB、深度、点云、网格及实例级 3D 边界框等,支持空间感知与世界模型研究。
FORGE 提出一种无需全身运动轨迹或关节角度参考的力感知多粒度控制系统,仅需稀疏的双腕位姿与粗略运动指令即可部署。该系统结合动量观测器与仿真接触力监督训练的修正策略,在无手腕力/力矩传感器下通过本体感觉估计低频等效交互力并稳定全身校正。实验验证了其在刚性物体持续接触挤压、不同负载下的蹲起搬运任务中的统一控制稳定性及下游扩散策略执行效果。
本文针对环境监控中的信息路径规划(IPP)问题,指出当前方法受限于启发式约束且缺乏同时满足最坏情况估计误差和逼近质量的理论保证。研究通过评估重构误差的概率与确定性界限,证明预测方差是 GP 基 IPP 的理论理想优化目标;分析表明 GreedyCover 算法的近似保证匹配了该问题的根本性近似硬度极限。
作者发布 Visual Cipher Bench 基准,包含 40 个仅需黑白线稿和最少指令的视觉谜题,涵盖空间操作、逻辑约束等四类任务。实验显示,在八种前沿模型中,最强模型 GPT-6 Astra (max) 准确率仅 26.7%,多数低于 1%;而提供单一非剧透提示后,十项子任务的准确率从 7.8% 提升至 55.6%。
该预印本提出 Kosmo-GFM,这是一个集成了几何基础模型、位姿优化引擎及来自 KosmoWorld 的重建监督的场景重建系统。GFM 可从图像和视频预测相机参数、深度、跨视图对应关系及动态 3D 点;PoseEngine 结合这些预测与几何优化恢复场景级位姿和几何结构,用于下游 3D 和 4D Gaussian Splatting。
推荐理由:该预印本提出 Kosmo-GFM 系统,在 SpatialBench 上实现最低深度误差与最高位姿 AUC,PoseEngine 运行时间约为 GLUEMAP 的 20%,支持将学习到的几何先验集成到重建流程中。
AgriSense 框架结合 Isaac Sim 虚拟温室与四足移动操作臂,利用冻结的 DINOv2 和 BERT 编码器联合预测十二项环境参考及干预标志。在源分组测试集上,全模型、去图像及去语言配置均达成 43/44 次区域决策正确率,未体现多模态增量增益;温度与湿度预测误差分别为 0.249 度和 2.03 个百分点。
论文提出 NSDL(Neuro-Symbolic Division of Labor)框架,针对异构机器人团队的任务规划,将视觉判断与逻辑求解解耦:小参数视觉语言模型负责从场景图像和指令中识别未达成目标并生成计划草图,确定性求解器据此展开为可执行联合计划。
arXiv 预印本论文《Rethinking Actions: Continuity-Aware Priors for World-Model Planning》提出 LG-DKGP 方法,通过结合近期与长程执行历史预测神经延续并学习高斯过程残差。
PhysCapBench 是首个统一涵盖第三人称场景、第一人称操作及手持夹爪演示的物理标注基准,包含 1,500 条经人工验证的视频序列并覆盖七个物理维度。该基准显示,相比仅含元数据的描述,富含物理信息的视频语言监督可将视频重建的 LPIPS 误差降低 8.6% 至 30.9%,并在 pi0.5 策略微调任务中带来 7.5 个百分点的成功率提升。
推荐理由:PhysCapBench 作为首个跨域物理标注基准,通过量化语言监督中的物理信息缺失,为视频重建与策略微调提供了可检验的评估标准。
论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。
推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。
论文提出 Gravity and Flight (G&F) 框架,旨在解决视觉语言模型在复杂遥感场景中推理粗糙且缺乏任务相关视觉证据支撑的问题。该框架结合 Evidence-of-Thought 微调与关系转移策略优化,通过基于评分标准的验证机制(Gravity 检查视觉保真度,Flight 评估证据使用)来耦合策略更新。
论文提出了 ReCan-GS 框架,旨在从随意视频中重建动态场景并抑制瞬态遮挡物、阴影和体积效应。该方法基于学习到的变形场推导雅可比矩阵以计算变形敏感度分数,以此作为重建模糊性的经验代理,指导将内容分离为动态核心高斯和每视图干扰项高斯,或进行后处理剪枝。实验在合成与真实动态场景及烟雾/雾场景中验证了其在不同干扰制度下的有效性。该工作已被 WACV 2027 接收。
论文提出 H2E 方法,将导航代理(LLM 规划器调用 VLA)的成功会话转化为 VLA 训练数据,使 VLA 在测试时独立导航。该方法保留原始任务指令下的动作并将目标位姿作为奖励,同时屏蔽远离目标的步骤损失,将在 1 米内的访问状态标记为停止点。