VMonarch:一种用于视频扩散 Transformer 的高效结构化注意力机制
针对视频扩散 Transformer(Video DiTs)中注意力机制二次复杂度限制上下文扩展性的问题,本文提出 VMonarch 新机制。该方法利用 Monarch 矩阵表示稀疏时空注意力模式,通过时空因子化显式捕捉帧内与帧间相关性,引入重计算策略缓解交替最小化带来的伪影,并融合在线熵算法实现长序列的快速更新。
针对视频扩散 Transformer(Video DiTs)中注意力机制二次复杂度限制上下文扩展性的问题,本文提出 VMonarch 新机制。该方法利用 Monarch 矩阵表示稀疏时空注意力模式,通过时空因子化显式捕捉帧内与帧间相关性,引入重计算策略缓解交替最小化带来的伪影,并融合在线熵算法实现长序列的快速更新。
GRCF 提出自适应误差加权与动态间隔机制,解决现有成对序数学习忽略样本难度及静态间隔的问题。该方法在回归数据集上达到最先进水平,并成功扩展至幽默与讽刺检测等分类任务。代码与论文已作为预印本公开于 arXiv。
ReflFlow 框架通过残差材质增强高斯泼溅表示及混合渲染管线,解决了动态高光场景中的反射方向估计与物理建模难题。在动态场景基准测试中,该方法定量定性均优于先前方法,生成了更清晰逼真的复杂环境高光反射。该成果作为 ICML 2026 预印本发布,包含代码、权重与数据,共 16 页含 5 张表格。
针对无人机图像感知中目标密集、背景杂乱且简短提示指导不足的问题,本文提出无需微调的代理框架 AerialVP。该方法通过基于大模型的 Task Engine 动态分析原提示特异性,选择性融合图像语义、空间位置及物体关系等线索以增强提示,从而利用视觉语言模型预训练的对齐与推理能力降低目标歧义。
论文提出 SAGAS 框架,解决线性时序逻辑(LTL)机器人规划中模型合成依赖准确状态机、学习方法需在线交互的权衡问题。该框架在无动力学模型与任务演示的离线设置下,利用固定轨迹片段学习可复用的隐式可达性图与冻结的目标条件执行器。
该方法利用多层对比损失检测图像情感概念,结合情感属性引导大语言模型生成描述句以弥合“情感鸿沟”。针对情感数据集类内差异大、类间差异小的问题,引入基于语义相似性的采样策略优化预训练语言模型。实验表明,该方案在多个基准测试中有效处理含嵌入文本的图像,实现了具有竞争力的分类性能。
LENS 是一种专为多模态大语言模型(MLLM)设计的即插即用范式,通过冻结主模型并附加轻量级头部来提取注意力图关键点以实现像素级分割。实验表明该方法在保持与重训练方法相当的分割性能同时,有效避免了通用能力的灾难性遗忘。该成果已发表于《国际计算机视觉杂志》(IJCV),相关代码与论文版本 v2 可通过 arXiv 获取。
针对 4D 高斯泼溅(Gaussian Splatting)存储开销大的问题,本文提出 OMG4 框架。该方法通过高斯采样、剪枝和合并三阶段逐步减少冗余,并集成隐式外观压缩与扩展的亚向量量化方案,在标准基准数据集上实现模型体积缩减超 60% 同时保持重建质量。源代码已公开。
该论文针对扩散模型无意识复现训练数据的问题,建立了文本到图像潜在扩散模型(含分类器自由引导)的数学解释框架。研究通过追踪去噪步骤中的预测差异,证明在低损失条件下,带提示词的预测能以高概率复现配对训练潜变量;同时量化了引导机制如何放大该偏差及潜变量间的提示影响传递。最终统一解释了现有的检测与缓解策略。材料为 arXiv 预印本版本,未提及同行评审状态或具体实验部署结果。
推荐理由:本文从数学角度统一解释了文本到图像潜在扩散模型在去噪过程中如何复现训练数据,为检测与缓解策略提供理论依据。
论文介绍 CineWild,这是一种针对野生动物纪录片的无人机自主航拍模型预测控制(MPC)框架。该方案联合控制无人机运动与相机焦距,通过自适应变焦、避开动物视野及平滑低噪机动,在影像质量与动物福利间取得平衡。研究在仿真环境中进行了消融实验并与基线对比,同时在真实世界完成了感知与相机执行管线的概念验证。作者表示将开源代码。
arXiv 发布了一项关于 SAGES Critical View of Safety (CVS) Challenge 的研究论文,这是首个由外科协会组织的 AI 竞赛,旨在通过腹腔镜胆囊切除术中的 CVS 步骤建立手术质量评估标准。
推荐理由:该工作发布了首个由外科协会组织的 AI 手术质量评估基准,提供了包含千小时视频的多标注数据集及 EndoGlacier 管理框架。
MedGS 是一个基于高斯泼溅(Gaussian Splatting)的框架,旨在解决超声、MRI 和 CT 等多模态 3D 医学影像中的表面重建与帧间插值难题。
论文提出了 Agentic Aerial Cinematography (ACDC) 框架,旨在弥合智能体在数字环境中的推理能力与物理世界任务执行之间的差距。该框架通过执行器将智能体对电影意图和视觉判断的解释锚定在场景几何与飞行约束上:给定自然语言请求和三维场景表示,智能体选择相关视角并通过视觉反馈进行优化,随后利用优化与运动规划生成可执行的无人机航迹。
该系统基于 Face2PPG 管道与 FRP-Actor 混合模型,在双电脑环境下实现 30 FPS 连续运行并提取心率、呼吸率及血氧饱和度。研究在 COHFACE、LGI-PPGI、UBFC-RPPG 等四个公开数据集上评估了性能,并在五场各 10 分钟的现场测试中验证了与医用指夹式脉搏血氧仪的一致性。代码已开源,系统旨在解决资源受限平台上的可扩展性与互操作性挑战。
本文发布了 COSMO-Bench,包含 24 个源自真实 LiDAR 数据和基础 C-SLAM 前端的数据集,旨在填补多机器人协同定位与建图领域缺乏标准评测数据的空白。该工作已获 IEEE ICRA 会议接收,提供了用于分布式优化算法研究的标准基准。
该论文针对多模态大语言模型(MLLM)在自动驾驶系统中的脆弱性,提出了 PhysPatch 框架。该方法联合优化补丁位置、形状和内容,引入基于语义的掩码初始化策略以确保物理可行性,并利用 SVD 局部对齐损失提升跨模型迁移能力。实验表明,PhysPatch 能显著引导 MLLM 系统产生目标一致的感知与规划输出,且补丁始终放置在自动驾驶场景的物理可行区域。
LLM-to-Phy3D 提出一种新颖的在线黑盒优化循环,通过视觉与物理评估反馈驱动大语言模型实时生成符合物理约束的三维设计。在车辆设计优化消融研究中,该方法相比传统 LLM-to-3D 模型使目标域设计的物理合规性提升 4.5% 至 106.7%,显著增强了几何新颖性与工程性能。该成果已被 IEEE CEC 2026 接收并发表,为科学和工程领域的生成式设计提供了新的 AI 驱动解决方案。
该论文提出一种统一的概率虚拟夹具(VF)框架,旨在根据任务阶段的不确定性自适应选择触觉反馈模式。系统支持在手动夹具、半自动夹具(人处理精密任务)和全自主模式之间无缝切换。
论文提出了 OPA-Pack 框架,旨在解决现有机器人装箱方法仅关注几何形状而忽略物体属性(如易碎性、可食用性等)的问题。该框架利用检索增强生成和思维链推理构建了包含 1032 个日常物体属性标注的数据集,并通过 OPA-Net 编码物体属性与容器状态。实验表明,该方法将避障准确率从 52.3% 提升至 95.0%,易碎品负载减少 29.4%,并在物理平台测试中优于基线及其他启发式方法。
针对现有基于模型的方法在处理复杂物理接触和建模误差时的局限性,本文提出了一种融合触觉感知的双层框架。高层通过接触隐式的模型预测控制联合生成参考手指运动与接触点,实现在线反应规划与扰动恢复;底层利用手力 - 运动模型与触觉反馈并发跟踪这些参考,补偿建模误差并增强鲁棒性。
推荐理由:该工作提出双层框架,结合接触隐式 MPC 与触觉反馈以解决模型误差问题。
该方法利用频域表示与扩散知识,通过 FFAB-IC 网络及迭代扩散细化提升低码率下的纹理重建保真度。实验表明其在相当失真下实现了优于现有方法的真实感平衡。论文为 arXiv 预印本(arXiv:2503.11321),代码与数据许可状态未明确说明。
这是一篇关于基于高斯过程学习的模型预测控制(GP-MPC)的教程论文,结合概率残差建模与移动视界控制。文章核心贡献在于详细推导了多步均值和协方差传播公式,阐明了高斯过程后验均值、协方差及不确定输入在其中的作用。
CSSL 提出一种针对医学图像分割的对比半监督方法,通过类级采样、混合难负样本的监督对比损失及基于轮廓系数的特征扰动一致性损失提升性能。在 MoNuSeg(50% 标注)和 CHAOS T2(25% 标注)数据集上,该方法分别达到 80.87±0.17 的核 F1 分数与 89.01 的 Dice 系数,显著优于 Self-Loop、DAFNet 及基线配方。
Neural Render Proxies 通过解耦路径采样与发射计算,在固定相机和材质下为静态场景提供约 30-60 Hz 的交互式重渲染速率。该方法兼容非可微生产渲染器且推理内存需求极低,能逼近真实路径追踪的视觉保真度并支持基于梯度的逆向工作流。论文已被 EGSR 2026 接收,代码与数据许可状态待定。
该研究提出基于 Transformer 的 4D 分割框架,融合时空信息以区分物理变化与分割误差。在矿物溶解数据集上,该方法比忽略时序信息的等效 3D 模型更准确地测量孔隙体积增长和岩石边界,且无需逐图调整参数即可将数百张三维图像转化为可靠的量化数据。
针对非线性时间最优模型预测控制计算成本高难以实时的问题,本文提出一种集成化架构以实现数据高效的实时神经模仿。核心贡献包括自信息采样策略、联合处理数据集相关性等挑战的完整训练与控制架构,以及在 Furuta 摆上的真实世界验证。
该论文提出了一类定义在扩展特殊欧几里得群 SE_n(3) 上的贝叶斯共轭分布,通过限制矩阵高斯分布来避免局部坐标奇点。该方法支持对广泛采样分布的精确闭式贝叶斯推断,并推导了最大化概率与最小化均方误差的最优估计量。
CABOT 是一种将环境网格设为主动计算介质的新模型,使无需灯光或内存的弱能机器人能在四状态下实现排线与无限探索。该模型在仿真中验证了五状态场静默排线、三状态任意聚集及迷宫引导等能力,证明环境资源而非机器人自身是核心度量。研究通过 19 页论文与 5 幅图示展示了从惯性地板到活性网格的范式转变。
该工作提出一种新的数据集蒸馏方法,通过在特征提取器的潜在空间中使合成样本同时向真实数据靠近且彼此分离(即“漂移”),从而在不依赖分类器优化的情况下更好地逼近每类数据的真实分布。实验表明该方法生成的样本在覆盖真实分布方面优于现有方法,仍可作为强大的分类训练样本,并可扩展至多模态场景及作为模型可视化工具。材料为 NeurIPS 2026 接收的论文预印本,未报告真实机器人部署结果或具体产品发布。
论文指出在多模态表示学习中,单纯的对齐目标会在信息不对称场景下丢失私有结构与跨模态协同效应。为此提出分解 JEPA(D-JEPA),将潜在变量分解为对齐共享核心与恢复被丢弃信息的私有特征纤维。实验表明该方法避免了组合推理基准上的语义坍塌,恢复了正的多模态协同差距,并在下游任务上大幅提升了准确率。
Bo Han 提出一种两通道受限 GRPO 方法,通过将安全定义为有害协助与过度拒绝的预算率并修复梯度抵消问题,使 Qwen3-VL-2B 在对抗提示下的有害响应从 8.9% 降至 4.8%,同时保持良性查询的低误拒率和基准测试表现。
AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。
推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。
该研究对比了交互艺术与人类轨迹预测算法,指出尽管模型定量性能提升,但算法中对人类行为、思维及社会互动的考量呈递减趋势。作者通过感知、互动与时效三个维度,探讨艺术直觉如何关联 AI 算法,并发现部分受艺术启发的算法能从数据中推导出有趣的人类行为模式。
Robo-SWE 数据集包含从 28 个公开机器人仓库挖掘的 236 个可执行任务,涵盖 ROS 2、仿真引擎及学习框架领域。五组编码智能体在离线运行中解决率介于 43.9%(Kimi K3.1 Pro)至 56.5%(Claude Opus 5.5),并附带完整的修复补丁与轨迹数据。该数据集已上线公共排行榜,旨在推动针对机器人领域特定系统的代码代理评估研究。
针对现有模仿学习方法假设演示者同质或接近最优的不现实问题,本文提出 LEOS-IL 框架,从未标记的低质量离线演示中联合学习状态动作最优性评分模型与各演示者的潜在专家水平。该方法将评分模型集成至在线策略优化流程,利用在线 rollout 迭代 refine 评分模型以缓解分布偏移,并在连续控制基准上展示了在高度异构和低质量演示数据下的优越性能。
Scalable Inverse Model (SIM) 框架通过协同设计物理仿真训练数据与模型架构,在涵盖七个国际中心、五种厂商及 0.3-7 T 磁场的 14 个数据集上实现了鲁棒的零样本 MRI 重建。该方案在包含 150 次扫描的盲测放射科研究中恢复了精细解剖细节并抑制了常规深度学习方法失效处的混叠伪影,且无需额外采集数据即可泛化至未见过的扫描仪与协议。
针对现有遥感智能体依赖预定义知识或参数更新的问题,本文提出 SkillEarth 方法,能够从演示轨迹中自动提取可复用的工具调用知识并实现观测驱动的演化。该方法结合双裁判反馈与基于观测的路由图进行组件级精细化,在 OpenEarth-Bench 和 Earth-Bench 上展现了优于现有方法的工具选择、参数正确性、执行顺序一致性和任务完成率,且支持跨大模型复用而无需重新训练。
针对土星探测极端环境,该方法提出物理约束掩蔽近端策略优化(PCM-PPO)以实现自主任务规划。研究建立土星特定离散马尔可夫决策过程并融入系统动力学与几何模型,通过物理约束动作掩码构建可行决策域以规避不可行探索。对比、消融及不确定性实验验证了该方案在资源受限下的有效性,为深空探测提供了可行且可解释的自主规划路径。
针对机器人交互中动力学突然且持久变化的适应难题,论文提出了 AFTER-WM 世界模型。该模型受人类大脑预测编码启发,利用预测误差驱动快速修正(衰减)与慢速修正(持久),并动态调整预训练专家的组合权重而不改变其本身,以平衡响应性、稳定性与持续性。
推荐理由:提出 AFTER-WM,利用快慢时间尺度自适应机制解决动力学突变下的预测误差累积问题。
AROMA 是一种冻结 VLM 的控制框架,通过分离干预位置、几何增益及目标选择等维度解决因果敏感性与激活能量不匹配问题。在 Llama-3.2-11B-Vision-Instruct 上,该方法将未触碰过程数据的精确计数准确率提升 8.00 个百分点,迭代最小努力动作(MEA)达成率从冻结策略的 34.444% 提升至 38.730%。