dit.xpu:在移动 SoC 上驯服扩散 Transformer 稀疏推理
dit.xpu 提出一种针对异构移动 SoC 的稀疏 DiT 推理框架,通过 Tile-aligned 稀疏注意力与锚点误差补偿机制优化数据流。该方案在两款骁龙手机上的五项 DiT 模型测试中,相比 Hexagon-NPU 后端实现高达 1.56 倍的端到端去噪加速,且生成质量接近稠密注意力模式。代码已开源,适用于移动端图像生成与编辑场景。
dit.xpu 提出一种针对异构移动 SoC 的稀疏 DiT 推理框架,通过 Tile-aligned 稀疏注意力与锚点误差补偿机制优化数据流。该方案在两款骁龙手机上的五项 DiT 模型测试中,相比 Hexagon-NPU 后端实现高达 1.56 倍的端到端去噪加速,且生成质量接近稠密注意力模式。代码已开源,适用于移动端图像生成与编辑场景。
arXiv 论文提出 Physics-Informed Causal Reasoning (PICR) 方法,旨在解决系统状态随时间变化导致相同动作产生不同响应的难题。
该研究在 ImageNet 验证集上测试了 MambaVision 混合架构中块的消融测量意义。研究发现,真实消融与尺寸匹配的零扰动(通道打乱或符号翻转)在绝对误差上几乎无法区分,表明其块贡献主要源于位置效应而非内容效应。
该论文提出了 GameWM 系统,旨在构建基于交互中心世界模型的下一代视频游戏。系统采用明确的分工策略:GameWM-engine 负责维护精确的规则、状态、相机和世界布局;GameWM-VM 则生成世界外观和玩家互动的细节。
该研究针对意图驱动外骨骼控制,分离了高密度 sEMG 与 IMU 数据中“信息量”与“优化器更新”的独立效应。实验基于公开数据集的十名参与者六种运动任务,证实用户自身其他活动能将拟合度 R²从 0.722提升至 0.788,且楼梯下行是有害捐赠源而坐站行走有益。跨主体同活动数据仅在用户缺乏目标活动时有效,校准后价值迅速坍缩,揭示了无标签测试下何时转移数据的瓶颈。
本文提出一种名为 GDS(generation-derived supervision)的新方法,用于提升脑电图(EEG)信号到图像的解码质量。研究指出单纯优化跨模态对齐无法显著提升重建效果,因此引入基于图像条件的教师网络,将静态特征映射至扩散Transformer的内部表示空间以指导生成过程。
推荐理由:提出生成衍生监督方法,解决 EEG 条件生成器难以跟随固定对齐目标的难题。
针对预训练视觉语言模型在多域任务增量学习中面临的遗忘与适配难题,研究提出 TSP-DLoRA 方法。该方法利用任务子空间投影区分已知未知任务,并通过动态分配低秩适配器平衡性能与参数成本。在 11 个数据集上的三项指标实验验证了该方法的有效性,代码已开源。
该预印本提出 Self-Calibrating Vision-Agent-Action(VAA)方法,在仿真环境中实现无需机器人演示或微调即可适应机械手与基座变化的抓取放置任务。
该研究提出 Ego2Sim2Humanoid 框架,利用第一人称眼镜记录的人类演示数据,通过代理式真实到仿真转换构建物理验证的训练轨迹。方法包含碰撞与纹理资产重建、未见表面补全及目标接触带预测;运动适应阶段将接触带转化为可行腕部姿态与手指闭合,规划无碰撞站立姿势并合成全身运动。
论文提出一种方法,将控制屏障函数(CBF)的安全约束蒸馏到强化学习策略中,使系统在部署时无需运行集中式优化滤波器即可保持安全。该方法通过隐式 Q 学习和合成近碰撞状态进行蒸馏,证明了损失函数能界定策略的约束违反程度和碰撞概率。
针对自监督单目深度网络预测的不确定性仅能排序误差大小而无法反映实际量级的问题,论文提出 MonoCal 方法进行校准。该方法首先利用立体图像对测量单一常数来修正不确定性的尺度,无需重新训练;随后通过重新训练网络使其预测网络与第二台自监督网络在深度上的分歧区域以修正形状分布。
针对自动驾驶领域利用问答基准评估视觉语言模型(VLM)但高准确率未必反映视觉化推理的问题,作者提出了一套诊断评估框架。该框架包含恶劣天气与路口交叉口两类任务,并扩展了 nuScenes 空间推理测试,对开源 VLM 进行了无图、反事实天气敏感度、语言鲁棒性及空间推理四项协议的系统性探测。
WA-JEPA 是一种耦合了动作生成、动作条件潜空间预测和目标感知反馈的世界 - 动作模型。该方法首先生成动作提议并预测未来的场景与本体状态,随后利用任务目标作为参考,通过目标差异残差反馈和未来场景上下文反馈两条互补路径对提议进行迭代细化。
EviRef 是一种无需训练的计算机视觉方法,通过为每类证据构建独立参考记忆来验证场景规则。该方法在 VID-AD 数据集上,仅用每个任务 20 张正常图像即可实现平均 AUROC 92.1%,优于使用 50 张图像的对比方法。其组件原型可解析任意捕获条件下的图像,且支持文本等额外证据通过任务级门控机制接入。
针对视频跌倒检测中陌生摄像头与稀缺本地标签的挑战,该研究分析了 OmniFall 和 AI-Hub 数据集共 2,697 个片段,验证了多源联合训练对跨数据集检测的提升。
论文指出固定增益 PD 控制在运动与力跟踪间存在权衡,提出 ImpedanceMimic 强化学习策略,根据运动和力测量调节每关节的刚度、阻尼和位置设定值,推理时仅需运动输入。该方法在 129 名参与者和六种活动中均优于匹配的固定增益 PD 及现有控制器,接近专用回归器效果。通过惯性缩放先验表达增益,单策略即可控制特定生物力学模型,无需显式人体测量数据,并实现向未见过人类和人形机器人的零样本迁移。
推荐理由:提出利用强化学习调节关节阻抗的策略,在无需显式人体参数时实现跨主体与机器人的零样本迁移。
针对现有开放词汇遥感图像分割方法在单轮推理中难以区分视觉相似但类别不同的区域的问题,论文提出 Puzzle 框架。该方法利用预测历史与视觉相似度先验,通过轻量级控制器迭代细化块级注意力并自适应停止,无需重新训练即可兼容多种模型与数据集,显著提升了分割性能。
该论文提出 SuperGlance 方法,旨在解决现有视觉语言动作模型(VLA)推理速度慢的问题。作者通过训练 VLM 的隐藏状态直接对固定候选轨迹集进行评分,将其转化为编码器风格的驾驶策略。
针对物理 AI 中 VLA 模型在端侧计算受限场景下的实时控制挑战,本文提出一种无线边缘辅助的自适应隐式推理框架(WEALR)。该框架利用决策智能体联合选择执行位置与收敛阈值,并通过拉格朗日约束深度强化学习策略优化任务性能与资源消耗。实验基于 LIBERO 操作任务及射线追踪无线信道评估,结果显示该方法在可行性加权的任务成功率上较基准方法提升最高达 23%。
论文提出了 DecoEdit 框架,旨在解决当前多模态图像编辑局限于二维平面控制(如文本提示、边界框)的难题。该工作构建了包含 160 万样本的 DecoDataset 数据集和 DecoBench 基准测试,并设计了一种解耦管道:利用 SAM-3D 的结构引导锚定目标几何、比例和空间方向,同时通过细节保留路径锁定高保真纹理。
该研究提出了一种利用环境支撑进行稳定化的全身模型预测控制方法,使 Unitree H1-2 人形机器人能够触及超出正常站立工作区约 50 厘米的远端物体。控制器在笔记本电脑上以 34 Hz 实时运行,成功将仿真策略转移至现实世界,并在负载下保持姿势超过四分钟。
论文提出 DEFDVO 方法,通过结合球面先验的可变形特征提取、端到端的接缝感知估计以及基于球面梯度的补丁选择,解决了全景相机等距矩形投影带来的畸变与采样偏差问题。该方法仅在 TartanAirV2 合成数据上训练,在 360DVO 基准测试中将平均绝对轨迹误差降低了 4.8 倍,并取得了真实世界数据集上的最低平均 ATE。代码已开源。
针对薄细裂缝视觉线索弱及标注成本高的难题,FDAM 提出融合盒检测与网格分类的框架,通过频域增强与方向特征细化提升定位精度。该方法在 RoadDistress2026、Crack500 和 DeepCrack 数据集上验证了有效性,代码已开源。
论文提出 RoboCoEvo 框架,旨在解决 MLLM 智能体与机器人基础模型(如 VLA)改进脱节的问题。该方法采用代码即策略的表述形式,让智能体开发可执行的失败检测与恢复程序以生成修正经验,随后将修正行为整合进模型的端到端策略中;更新后的策略分布变化反过来指导智能体程序的修订。
推荐理由:提出基于代码的策略与 VLA 模型协同进化的框架,通过失败引导的迭代循环提升自主任务执行能力。
SearchChord 提出一种免训练框架,通过文本预选、图像验证和潜在场重组平衡编辑保真度与计算成本。消融实验显示在 200 个候选者池中选取 100 个最具性价比,而 TextSim 仅需预选 10 个即可优于全量输入。该方法在 PIE-Bench 及新提出的 CropWeed-EditBench 上验证了文本预选提升对齐、重组保留源内容的权衡机制,代码与数据将公开。
论文提出 CAST 框架,通过从冻结的扩散策略采样动作块、利用势垒条件进行安全认证,并结合价值函数集成排名执行最优块。该方法证明了认证步骤的安全性及在有限采样下的生存性保持能力,在 Robomimic 操作、平面四旋翼、MuJoCo 人形机器人和单icycle等基准上,联合任务与约束的成功率均优于输出过滤器,特别是在大编辑场景下避免了策略死锁。
该论文指出,在视觉基准测试中,强分类器无法识别的‘失败屏幕’往往包含大量标签错误的样本。研究基于 ImageNet 等数据集验证了这一现象,发现严格筛选下的错误率显著高于整体水平。作者提出了 ScreenAudit 工具,用于重建修正后的答案集并对基准进行逐图审计,相关代码与数据将在后续发布。
本文研究了冻结分块机器人策略在部署时如何分配推理计算资源,即在单次调用内细化预测动作还是增加调用频率进行重规划。研究未更新模型权重,使用 LIBERO 仿真环境评估了不同配置下的成功率与算术成本。实验表明,在特定参数下,增加细化次数可提升任务成功率并降低单位步骤的算术开销,但并未确立通用最优设置。
推荐理由:该文通过冻结模型实验,量化了推理计算在动作细化与重规划间的分配对成功率与成本的影响。
论文提出角色分离扩散 Transformer(RoSeDiT),利用 adaLN 监听机制将全局规则与图像 token 隔离,解决类条件 DiT/SiT 中控制器通道不足的问题。
推荐理由:提出 RoSeDiT 架构,通过控制器通道实现全局规则隔离与确定性采样流形压缩,在更少参数和步数下超越 SiT 基线。
该论文主张机器人社区应采用演示视频的披露标准。基于涵盖六国的九千三百多份样本的预注册实验,研究发现公众难以区分视觉真实性(如真实画面与CGI)和行为真实性(如自主性与遥操作)。作者设计披露干预措施证明其能显著提升公众对视频真实性的辨别能力及对机器人能力的理解,旨在准确校准公众预期并促进研究透明度。
针对现有违反预期基准仅聚合时空误差导致无法定位物理理解缺陷的问题,本文引入局部违反预期评估框架,对比了全局、时间局部化及空时局部化的 V-JEPA 模型表现。研究发现在发育性自我中心视频预训练过程中,全局与局部判断的吻合度呈非单调变化,且局部判断置信度随准确率提升而增加,证实全局误差不能直接作为物理违规的时空证据。
论文提出了 Tactile-Driven Motor Adaptation(TMA)方法,旨在解决具身智能在关节化环境中进行强力多指操作的挑战。该方法利用触觉反馈构建策略学习结构,以圆锥几何作为多指接触表示的归纳偏置,并基于触觉历史在线调整电机行为。
推荐理由:提出触觉驱动的电机自适应方法,在仿真训练后零样本迁移至宇树 G1 机器人实现强力开门任务。
该研究对比了八种上采样方法在提升低分辨率(128 至 8 像素高)美国车牌可读性方面的效果。结果显示,SwinIR 开源增强器使性能最高提升 38 个百分点,而自适应去噪先验和商业 AI 上缩反而损害可读性;传统插值仅带来约 5-9 个百分点的微弱增益且最近邻插值有害。实验未发现字符幻觉现象,明确了不同技术在计数与识别任务中的具体贡献差异。
本文提出一种离线性能驱动的优化方法,将单线性化点的位置作为优化变量,通过网格搜索与有界细化从候选工作点中选出最小化非线性轨迹目标的最优位置。在四组三点间运动任务中,该方法相比传统初始、中间或终端线性化策略,分别将非线性轨迹目标降低 17-18%、21-22%、37-38% 和 7-8%,且结合 PID 反馈修正后性能优势依然保持。
论文提出一种人机闭环方法,自动挖掘强化学习策略在点云抓取任务中持续失败的案例,将其送入虚拟环境由人类完成抓取操作并生成新数据回流训练。实验显示,该方法将未见物体上的成功率从 55% 提升至 83%,并将原本失败率高达 24% 的困难案例成功率提升至 45%,同时未降低对未见物体的性能表现。
针对近身交互场景下缺乏大规模标注数据的难题,作者提出了 CISyn 数据集,利用物理仿真和 Blender 渲染生成了包含碰撞动力学、相互遮挡及姿态纠缠的 25,000 条序列。该工作还提出了一种不确定性感知损失函数,帮助模型更有效地学习重度遮挡样本。实验表明,结合 CISyn 并替换回归损失可显著提升近身交互基准上的表现。数据集、生成管线和代码已开源。
RAVEN-Bench 引入包含 100 对时序对齐 EO-IR 视频及 1200 道人工审核的四选一问答题,支持单模态与配对评估以诊断跨光谱推理能力。该基准在 NeurIPS 2026 数据集与评测轨道被接收,代码和数据已开源,旨在验证 RGB 视频模型进展是否有效迁移至低空多模态理解任务。
针对多机器人导航中全局调度对执行偏差敏感而局部方法缺乏长程协同的问题,提出一种结合软全局协调与灵活局部执行的框架。该方法利用凸集图支持优先级规划,通过感知通道的路线选择与时空路径受限优化避免冲突,并采用模型预测路径积分控制器在线避障及自适应跟踪策略应对偏差。
推荐理由:提出基于通道的分层多机器人导航框架,在仿真与硬件实验中均实现高成功率并优于基线。
UnSPAD 是一种融合并去噪任意长序列二进制 SPAD 测量的不确定性感知爆发摄影框架,通过结合运动估计与不确定性引导的测量融合及去噪,生成时序一致且无幻觉的重建结果。该方法在真实和模拟的 SPAD 及量子图像传感器基准测试中,相比最先进方法展现了最佳重建质量、提升的时间一致性以及更优的色彩保真度。该工作已获 WACV 2027 录用,相关代码与数据开放许可情况需参考官方发布。
针对现有不确定性估计器难以区分字段级推理误差且忽视视觉退化问题,本文提出 FiReIQ 框架,通过结合单生成过程的字段对齐推理信号与局部全局图像质量特征进行质量条件化视觉融合。研究构建了涵盖金融票据和法律合同的 FiReIQ-Bench 基准,实验表明该方法在私有金融服务数据上将 AUROC 提升 6.8%,95% 精度下的覆盖率提升 10.6%,有效降低了人工复核需求并提升了文档自动化可靠性。
推荐理由:FiReIQ 框架结合推理信号与图像质量特征,在金融票据等文档提取任务中显著提升了置信度判别能力。