从人类视频到双手灵巧操作:基于置信度的 RL 视频先验优化
该论文提出 PriDex 框架,旨在解决利用人类视频训练机器人双手灵巧操作的难题。PriDex 在仿真环境中通过强化学习将人类视频转化为可执行的机器人演示,保留任务相关的交互结构并再生符合机器人本体行为的动作。
该论文提出 PriDex 框架,旨在解决利用人类视频训练机器人双手灵巧操作的难题。PriDex 在仿真环境中通过强化学习将人类视频转化为可执行的机器人演示,保留任务相关的交互结构并再生符合机器人本体行为的动作。
REEL 框架通过线性语义解码器、预训练视频生成器及三种神经编码流,在 CC2017 数据集上将三位参与者的平均 Video 50-way 准确率从 0.2359 提升至 0.2434。该方法同样在 BMD 数据集的十位参与者中实现准确率提升(从 0.3653 至 0.3920),为视频脑解码提供了比复杂流水线更简洁的替代策略。
论文提出了 FlowRRT,这是一种针对离散地形单足跳跃的激动力学规划器。该方法将多起点 MPPI 专家离线收集的可行动作集通过条件流匹配蒸馏为生成采样器,以解决传统方法在狭窄不连通动作空间中的局限性。
推荐理由:提出将 MPPI 专家蒸馏为生成采样器的 FlowRRT,在单足跳跃任务上实现更短规划时间与更高成功率。
该研究提出了一种针对面部资产(albedo 和 displacement maps)的领域自适应扩散超分辨率方法,旨在解决通用生成管线仅输出1K分辨率而电影级特写需要4K的问题。
论文提出了 FaceRiff,这是一个统一且数据高效的框架,可直接从文本生成完整的 3D 人脸资产(网格、反照率和位移)。该方法适配预训练的 SDXL 骨干网络,使用 UV 法线图作为几何条件引导合成,仅需约 2049 个扫描数据和单 GPU 训练即可更新少于 3% 的骨干参数。盲测显示其感知真实度接近真实采集数据,且生成的反照率对光照独立,适合 PBR 重光照和毛孔级位移生成。
推荐理由:该工作提出 FaceRiff,利用预训练扩散先验与几何条件,在少量数据下生成高保真 3D 人脸资产。
论文提出 AR-WAM,一种结合自回归时序建模与单次前向未来条件化的高效流式世界 - 动作模型。其因果视频骨干网络可增量更新视觉上下文并复用过去计算,利用最近观测的未来特征在单次前向传播中增强动态交通泛化能力,并通过强化学习直接优化驾驶奖励。
本文研究能否利用预测视频的世界模型提供跨数据集泛化的信号以检测深度伪造。作者冻结 V-JEPA 2.1 编码器,使用 rank-16 LoRA 适配预测器,将预测输出与冻结编码器的目标差异定义为预测残差。
针对遥感图像感知相似度度量在自然图像上迁移效果差的问题,研究提出基于 RemoteCLIP 层对齐注意力分数(AAS)的新指标。引入无需人工偏好标签调优的遥感感知距离(RSPD),在涵盖合成伪影、超分及 SAR 转光学的盲测基准中表现优异。该成果已接受至 IEEE/CVF WACV 2027,显著优于简单余弦距离并具备通用基线竞争力。
论文研究了多模态模型如何通过合成像素进行推理,发现迭代去噪主导了推理成本。研究揭示了三种思维模式:因果性思维早期即可识读且素描步数远少于渲染步数;装饰性思维可省略;有害思维会降低准确率。
推荐理由:研究揭示生成式视觉推理中三种计算分配模式,提出无需标签的素描投票策略以显著降低推理成本。
本文介绍 ARC-2 框架,旨在解决自主系统在部署后如何维持合规的问题。该框架将合规性评估从静态认证转变为通过连续监控进行,并提出了四项扩展:在 CRAB 评估中纳入最坏的行为偏差验证;建立分层触发分类法以区分不同风险等级的违规;实施分阶段的平稳过渡协议,将运营授权撤回与物理关闭分离;引入环境偏差作为基线有效性条件,防止因环境漂移超出认证 ODD 而自动收缩权限。
推荐理由:该框架提出通过偏差管理实现自主系统部署后的持续合规,扩展了 ARC-1 架构以应对欧盟 AI 法案要求。
该研究提出一种概率侧向运动预测模型,结合二自由度车辆物理先验与循环神经网络学习残差修正。通过多步展开训练直接惩罚累积侧向速度误差,并将条件高斯不确定性传播至位置与航向预测。评估显示,相比 Deep Dynamics 基线,其侧向位置均方根误差从 0.596 m 降至 0.483 m(提升 19.0%),侧向速度误差亦显著降低。
Data-Driven Variable-Length Compression of 3D Representations 提出一种利用数据集统计并仅通过快速前向推理即可适应个体形状复杂度的学习式变长压缩方法。该方法作用于通用潜在表示,显著提升了网格和符号距离场的率失真性能,解决了现有方法无法利用数据集级统计或固定压缩比的问题。代码已公开于相关 https URL。
论文介绍了 ASTRA,这是一个基于 NVIDIA Isaac Sim 构建的自主水面车辆(ASV)仿真框架。该框架结合了海洋车辆动力学、照片级真实的感知渲染以及 ROS 2 自主接口环境。
针对自主水面车辆(ASV)在稀疏噪声测量下映射异质污染场的需求,该研究引入证据深度学习(EDL)作为不确定性校准模型。在包含五类规划器的闭环物理仿真基准中,EDL 在所有配置下均实现最低误差与最高 IoU,且每步推理耗时仅 3.9ms。实验表明模型选择主导了最终重建误差的 80% 方差,证明了不确定性感知路径规划的鲁棒性要求。
本文指出当前六个开源权重的交互视频世界模型存在“相机高度回归”缺陷,即在生成过程中无法保持初始设定的相机高度(如地面机器人 0.15m),而是向人眼水平(1.1m-1.5m)漂移。
荷兰两家农场的四路摄像头部署了约一周的群居奶牛犊视频,共含 1,173 个文件、651 小时时长。训练员基于 Noldus The Observer XT 对其中 104 小时(90 小时全犊编码)进行连续行为标注,包含 18 项玩耍等行为图谱。数据集提供 110 万解码帧及光学字符识别时间戳、分割轨迹和逐帧标签,支持奶牛行为与福利研究及自动化行为识别开发。
Edge-Adaptive Hiera-Seg 模型通过融合多朝向视觉辐照度数据,在边缘控制器上实现短临期建筑光伏功率预测。该架构利用分层区域提取与自适应模块处理缺失帧、延迟及局部阴影变化,输出包含置信区间的主导证据贡献分析。实验基于未见过的多建筑数据集验证了其在不同朝向下的泛化能力,旨在支持微网调度与运营规划。
该方法结合注意力残差与雅可比透镜读出概念,在两个开源模型上实现了比单层注入更强的内部对齐和行为改变。研究揭示了逐层几何分解、强度窗口及指标纪律等发现,并训练了深度权重以提升泛化性能。代码和数据已公开。
论文介绍 π^4 作为统一的 4D 场景感知基础模型,能从野外未校准的 RGB 输入(单图、无序集合或视频序列)恢复稠密几何、相机位姿和度量尺度,同时输出 2D/3D 点轨迹及移动物体掩码。系统耦合几何分支与几何条件化的运动分支,在共享骨干网络下约含 05B 参数,单次前向传播即可完成大规模场景的联合重建与跟踪。材料提供数据、训练配方及关键设计选择的实证研究,代码与模型已开源。
推荐理由:该预印本提出统一模型以单张图像或视频序列恢复稠密几何与运动,参数量小于多数基线。
该研究介绍了 Sage S1.5 Flash 模型,这是一个拥有 3200 亿参数的通用多模态专家混合模型(MoE),旨在进行科学证据推理并在交互式环境中行动。
该研究通过仅替换首模型排名精英集为环境排名精英集的固定状态干预,使 Walker/Cheetah 任务中选定序列的实现追踪成本在所有 12 个种子单元均降低。跨 32 项任务的 52 个冻结 TD-MPC2 检查点对比显示,在改进显著的 10 个检查点上平均收益为 67.8 分(95% CI [31.9, 103.6]),其余 42 个仅提升 0.2 分。
DEEP 基准通过 KITTI 和 nuScenes 数据集评估感知计算对下游决策的实际增益,发现 34%–54% 的感知模式升级反而增加损失。研究指出仅凭漏检率提升选择信号会导致平均测试决策增益降低 7.4%,且引入 20% 延迟预算后仅轻量级路由器优于随机策略。该工作强调应以预算受限的决策预言机为基准,而非将全精度推理视为上限。
该论文提出 Chameleon 框架,将量化格式本身作为离散变量,按权重通道和激活层动态从 INT8、FP8 等集合中选择,而非固定单一格式。在 SDXL、PixArt-$\alpha$ 等模型上,该方法在所有位宽设置下均取得最佳 FID,推理速度较 FP16 提升 1.09 倍且权重体积缩小 3 倍。材料为预印本,未提及同行评审状态或开源代码仓库。
推荐理由:提出 Chameleon 框架,通过动态选择激活与权重的混合格式在固定位宽下实现最佳 FID 与推理速度提升。
针对多步环境交互中单点错误导致状态改变且经验丢失的问题,提出 Rollback-Induced Reflection (RIR) 框架。该方法将可靠恢复定义为联合决定干预时机、恢复位置及保留信息的边界控制问题,在回滚至选定先验状态的同时,蒸馏废弃轨迹中的可复用知识以指导后续决策。实验表明,该结构化反思记忆与选择性回滚机制能提升多个 LLM 骨干网络在长程基准任务上的平均性能。
MindTopo 是一个基于认知科学与形式拓扑学的基准,涵盖连续性、分离性、序关系、封闭性与纽结五种属性,包含 3900 个核心实例和 11035 个扩展实例。
Vladimir Iglovikov 发布基准,实测八种图像输入流水线向 NVIDIA L4 交付同步 CUDA float16 批次的速率。在共享的 34 个配方中,DALI 以 19.7 batches/s 的中位速度领先 AlbumentationsX(17.1),且峰值显存占用为 1,872 MiB 对比 AX 的 404 MiB。
针对文档视觉问答(DocVQA)中固定检索数量导致延迟高或精度低的问题,作者提出 ViSAR 方法。该方法在嵌入空间构建查询感知的页面相似度矩阵,动态确定需检索的页面数,无需额外训练且能显著降低端到端延迟。
基于洛杉矶大都会区 9,085 张街景图像,研究发现对预训练 CLIP 进行编码器适配可将区域判别准确率从冻结编码器的 39.03% 提升至 75.94%-82.10%,并将预测中心均方距离由 12.30 km 降至 3.86 km。
该研究开发了一种针对加州戴维斯市的光学 GeoAI 工作流,利用 2022 年国家农业影像计划数据生成树冠候选并映射了 7.71 平方公里的树冠覆盖。分析显示像素召回率为 87.3%,与 USDA/CAL FIRE 激光雷达辅助产品的交并比为 0.719。
本文针对传统偏好学习中教师作为被动预言家的局限,提出利用二阶心理理论(ToM-2)让学习者主动生成理解陈述来修正教师的知识模型。研究在仿真环境中对比了不同教学策略,发现当存在多教师交替导致的模型漂移时,ToM-2 方法能有效减少漂移并恢复学习效率优势。该工作包含人类受试者实验,结果显示 ToM-2 陈述能提升学习者的最终对齐度。
该研究提出参数依赖线性矩阵不等式(LMI)框架,解决受乘性车轮滑移影响的非完整移动机器人轨迹跟踪问题。在 Kanayama 坐标下,该方法在半全局球域(σ_bar = 0.10)内实现指数衰减与 H-无穷范数增益优化,并在±50% 滑移比工况下较固定增益基线保持稳健性。论文包含 23 页、18 幅图及 50 个参考文献,预印本已上传 arXiv。
针对现有压缩图像复原方法难以同时满足像素保真、人类感知和机器偏好之间的矛盾,论文提出 FDIR 框架。该框架分两阶段工作:首先利用质量引导的单步流模型生成结构先验,随后通过流条件细节细化网络预测残差以保留纹理细节并忠实于原图。在 LIVE1 和 DIV2K 数据集的严重压缩设置下,FDIR 在所有指标中均取得最佳或次优排名,且在下游检测、分割等任务中表现优异。
arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。
推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。
该研究提出了一种针对未知洋流下欠驱动非最小相位水下滑翔机的三维轨迹跟踪观测器辅助控制架构。RE MUS 仿真在三种轨迹和四种洋流场景下,将有效顺航扰动降低 89-96%,平移残差减少约 99%,均方根跟踪误差从 4.04 m 降至 0.24 m。论文包含 31 页及 15 幅图,已上传至 arXiv 并收录于 Ocean Engineering 期刊。
Vertigo Vertigo 项目利用大视频扩散模型,仅基于原片 2.78% 的关键帧锚点完成首尾插值,成功重构了希区柯克《迷魂记》。计算评估显示 73.1% 的生成帧可被识别为合理版本,仅 3.6% 出现灾难性失败,证明了经典电影规范已深度压缩在模型潜在先验中。
研究对 CelebA 数据集及预测模型进行多维审计,发现女性感知面孔虽整体获高吸引力标注更多,但衰老与男性化特征组合对其吸引力的负面关联显著强于男性。SHAP 分析显示体型属性对女性为负贡献而对男性近乎中性,Grad-CAM 揭示年轻女性关注面部中心而年长男性聚焦额头,证实了视觉评估中的性别双重标准。
论文提出 LatentRouter 方法,将多模态大语言模型(MLLM)的路由问题建模为反事实多模态效用预测。该方法提取学习到的路由胶囊并代表候选模型能力,通过潜在通信估计各模型在选定时的表现,结合分布结果头与有界胶囊修正进行决策。
$\Delta$LPS 是一种利用梯度信息识别离散状态空间内有效移动的离散朗之文启发式后验采样器。该方法支持跨所有 token 维度的并行更新,且对掩码或均匀状态的离散扩散先验训练范式无关。实验表明,其在图像复原、空间映射及 DNA 序列生成等线性与非线性逆问题任务中,性能优于近期离散扩散后验采样器并可与强连续扩散求解器竞争。
该论文指出潜在世界模型虽能实现短期准确预测,但其隐空间常与长期规划不匹配,核心在于时空错位。作者提出 RC-aux 这一轻量级修正方法,在保持骨干网络不变的前提下,沿时间轴进行多步开环预测训练,沿空间轴引入预算条件的可达性监督及时间硬负样本,使隐空间能区分最终可达状态与当前规划视界内可达状态。
该研究提出迭代最佳响应(IBR)策略,解决无人机在通信受限与不确定环境下的城市级包裹配送任务分配问题。实验显示,相比最早截止期优先、匈牙利算法及随机冲突基线分配,IBR 在满通与稀疏通信下均实现具有竞争力的完成率且计算耗时更低。论文包含 8 页正文与 6 张图表,代码与权重暂未提及开放许可。