TraceICL:一种用于鲁棒多模态上下文学习的线程解析演示策展与一致性校准框架
论文提出 TraceICL 框架(AVA),旨在解决交错多模态上下文学习中图像绑定错误、冗余示例干扰及噪声答案复制等问题。
推荐理由:该框架在冻结大模型上通过无梯度方法优化演示选择与一致性校准,平均提升最强基线 1.7 分。
内容形态
四领域论文、技术报告与研究解释,明确预印本、投稿、接收和出版状态。
1,994 条精选近 30 天 1,302 条共收录 10,555 条
论文提出 TraceICL 框架(AVA),旨在解决交错多模态上下文学习中图像绑定错误、冗余示例干扰及噪声答案复制等问题。
推荐理由:该框架在冻结大模型上通过无梯度方法优化演示选择与一致性校准,平均提升最强基线 1.7 分。
论文提出 TabWM(Tabular World Model)和 WorldRel,旨在从观测到的执行中推断系统行为并生成可执行的关系统一世界。TabWM 利用未见世界的执行记录作为上下文,在不更新参数的情况下预测由新动作引起的稀疏结构化编辑。
推荐理由:提出 TabWM 与 WorldRel,在未见执行下通过上下文推断系统状态变更,支持递归想象未来以优化动作序列。
论文介绍 ProgAgent,这是一个完整的程序化工具调用(PTC)训练栈,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
推荐理由:该工作提出 ProgAgent,通过程序化工具调用训练栈解决长程任务中的上下文污染问题,在 LOCA-bench 等基准上显著优于基线。
Harness 自进化的效果取决于模型能否遵循其引导,但研究发现强模型的有益技能对弱模型可能有害甚至降低性能。为此,作者提出技能适配方法,利用外部重写器诊断工具执行、上下文管理等失败原因并蒸馏为固定元技能,在不依赖执行证据的情况下将通用技能改写以匹配执行者能力。实验显示该方法在七种不同能力的执行器上均提升了自进化循环的最终得分,为开发更有效的 Harness 自进化提供了设计指导。
推荐理由:原文发现通用技能对弱模型有害,提出通过元技能诊断失败并适配技能以匹配执行者能力的方法。
字节Seed团队研究发现,DeepSeek-V4系列模型在长上下文检索中表现出显著的“相位敏感性”,即同一条信息仅改变输入位置(Token站位),其检索准确率便会呈现与压缩步长一致的周期性波动。
推荐理由:字节Seed团队发现分块KV Cache压缩引入相位敏感性,导致模型检索能力随输入位置周期性波动,后训练与架构迭代可显著缓解该问题。
该报告由小米 LLM-Core 团队发布,介绍了 MiMo-V2.6 系列全模态模型,旨在通过扩展强化学习(RL)计算规模推动大模型智能边界。在预训练混合-SWA 架构基础上,报告详细阐述了三个维度的 RL 扩展策略:更大批次与吞吐量、涵盖代码/通用/视觉/网络域的复杂环境以及更强大的评估器计算。
推荐理由:报告介绍了 MiMo-V2.6 系列,通过扩展 RL 计算规模、引入混合任务代理 RL 基础设施及开源训练动态,推动大模型向自我改进迈进。
针对预训练流策略在离线强化学习中因多步采样导致的优化不稳定及 critic 误差放大问题,论文提出 Trust Region Q Adjoint Matching (TRQAM) 算法。
推荐理由:提出 TRQAM 算法,通过投影对偶下降自适应控制策略空间 KL 散度,解决预训练流策略离线强化学习的优化不稳定性问题。
论文介绍 LM-X,这是一个将可解释状态(任务进度、下一语义事件、局部指令可靠性)联合预训练到控制策略中的 VLA 基础模型。研究基于生物感觉运动组织原理,在超过 20,000 小时的异构真实机器人轨迹上进行预训练,包含逾 1,000 小时失败演示。
推荐理由:该工作提出将任务进度、事件预测与不确定性估计联合预训练到 VLA 模型中,旨在解决黑盒控制问题并提升长程任务可靠性。
论文提出 Seeker 方法,解决现有 ROI 接口依赖外部标签或固定裁剪导致视觉证据错位的问题。该方法从冻结的 DINOv3 特征出发,通过迭代更新查询向量,仅凭动作监督生成任务与状态感知的感兴趣区域(ROIs)。
推荐理由:提出 Seeker 方法,利用动作监督学习任务感知的注意力区域,在仿真与真实机器人上均提升了数据效率与鲁棒性。
论文针对现有动作分词器仅关注重建保真度而忽视 VLA 优化的问题,提出最大化时间重叠、最小化词汇冗余等四大设计原则,并据此推出 ActionCodec。在 LIBERO 基准上,基于 SmolVLM2-2.2B 微调的模型在无机器人预训练下达到 95.5% 成功率,架构增强后提升至 97.4%,刷新无预训练 VLA 模型 SOTA。
推荐理由:提出从 VLA 优化视角的 ActionCodec,在 LIBERO 基准上实现无预训练新 SOTA。
论文介绍 Memento 3,使冻结的大语言智能体能通过外部自然语言规则书持续学习显式世界模型并编译为可执行代码。系统通过观察、反思、修订规则、编译和验证的循环,利用预测误差在保持底层大模型固定的前提下实现递归自我改进。
推荐理由:该工作提出通过外部记忆和规则书实现冻结大模型的递归自我改进,在 ARC-AGI-3 上达到人类效率基准。
针对非马尔可夫环境中策略需处理长视界上下文信息的难题,本文提出 Keyframe Mnemonics 自监督方法,通过随机采样过去观测学习目标以发现关键信息观测(mnemonics)作为奖励进行关键帧选择。
推荐理由:提出自监督关键帧发现方法,解决非马尔可夫环境下的行为克隆长视界依赖问题。
论文介绍 VioLA,一种通用类人机器人策略,通过预测身体和手部运动潜变量而非关节命令来规避动作空间耦合问题。该方法利用预训练控制器执行潜变量,并将人类与机器人运动映射至同一潜在空间,从而直接使用 1.406 亿帧(其中 93.2% 为人类演示)的数据进行训练。
推荐理由:该工作提出 VioLA,通过预测身体与手部运动潜变量而非关节命令,利用海量人类演示数据实现真实机器人零样本执行,显著优于现有基线。
该论文提出ARC(A Reasoning Recipe)方法,旨在不依赖大规模新数据采集或昂贵训练的情况下,显著提升现有机器人基础模型(RFM)的零样本任务性能。
推荐理由:提出ARC推理配方,无需新增机器人数据即可通过自动标注与微调提升现有VLA基座模型的零样本任务成功率。
UNITAS 是首个将观测、动作和场景动力学统一在共享度量 3D 框架内的世界动作模型,使用 3D 点轨迹表示手部和夹爪动作,并以物理时间锚定 token。
推荐理由:UNITAS 提出首个原生 3D 的世界动作模型,统一观测、动作与场景动力学,在 RoboTwin 仿真与真实任务中均取得最优表现。
针对机器人触觉示教成本高、慢的问题,本文提出 TACROSS 系统,利用成本约 10.86 美元的压阻式手套采集人类触觉演示,并通过接触事件对齐而非原始传感器值对齐来解决与机器人传感器原理和布局的差异。系统在四个富接触操作任务上评估显示,相比传统遥操作效率提升 3.5 倍,示教设备成本降低 95.7%。作者将开源硬件软件系统及包含超 150 小时录制的触觉数据集。
推荐理由:提出 TACROSS 系统,通过接触事件对齐解决异质触觉传感器差异,实现低成本高效的人触示教转移。
该论文针对因果视频扩散模型质量低于双向模型的问题,提出条件残差预测(CRP)方法,使模型仅利用过去无法提供的信息来补充当前输入。实验显示该方法在无需大尺寸教师或复杂蒸馏的情况下,将因果模型与双向模型的VBench差距从6.14分缩小至约0点。作者据此训练了2B参数的Optica模型,该模型可自回归生成5秒480p视频,在仅使用约1500万训练视频时达到82.78的VBench分数。
推荐理由:提出无需双向教师模型的残差预测方法,在仅用约1500万训练视频时将因果模型VBench分数提升至82.78。
该论文介绍了 TopoGPU,这是一种用于计算二维和三维图像诱导的立方体复形持久图的 GPU 流式处理管道。该方法采用分层感知离散 Morse 匹配及并行算法,在各项基准测试中平均端到端速度提升 53.24 倍,最高达 198.01 倍,并优于当前最先进方法 Cubical Ripser。
推荐理由:TopoGPU 提供 GPU 加速的持续同调计算工具,显著降低深度学习网络训练中的拓扑分析成本。
论文 GHARP 提出一种从少量输入图像和驱动表情信号生成实时 3D 人头的动画方法。该方法将任务分解为离线构建身份表示和运行时预测残差两个阶段,在预训练重建模型的语义潜空间中进行操作,实现了高保真与低算力的平衡。
推荐理由:该方法在 ACCV 2026 被接收,提出两阶段架构实现实时头部动画,并通过身体对齐网络解决全身模糊问题。
针对机器人学习中利用视点或背景等无关特征进行捷径学习的普遍问题,本文提出任务清洗方法。该方法基于域对抗训练,无需策略 rollout 即可通过动作边距指标评估不同视觉语言模型骨干对视觉捷径的易感性,并有效降低其对视觉捷径的依赖以提升分布外鲁棒性。
推荐理由:提出任务清洗方法,通过域对抗训练降低 VLA 对视觉捷径的依赖并提升泛化能力。