NVIDIA NeMo 如何将智能体失败转化为测试并驾驭修复
NVIDIA NeMo 将生产环境证据转化为优先问题与自定义评估,以优化提示词、工具及 harness 代码。通用基准分数无法解释特定领域的智能体失败(如选错工具或遗漏上下文),该方法通过定制化评估直接定位改进点。
NVIDIA NeMo 将生产环境证据转化为优先问题与自定义评估,以优化提示词、工具及 harness 代码。通用基准分数无法解释特定领域的智能体失败(如选错工具或遗漏上下文),该方法通过定制化评估直接定位改进点。
LiberAI 发布了预训练于超过 220 万小时人类经验的 Liber-0 世界动作模型(WAM),旨在支持无需针对特定任务收集机器人演示的零样本机器人操作。
超维动力携 SMASH、KAIBot、KAI Hand 与 KAI Halo 亮相 2026 香港金融科技周,其中 SMASH 系统实现毫秒级来球识别与多关节协同,球技逼近专业选手。
针对植被丰富户外环境几何真值稀缺的问题,本文提出基于 LiDAR 的参考生成管线,复用多传感器定位数据集的图像、LiDAR 扫描和参考位姿来生成每视图深度图和可见点云。
作者发布了 WildBox 数据集和基准,包含 237,505 个跨越七种物种的三维边界框标注。评测显示,尽管二维基础模型在零样本定位中表现尚可,但所有架构在零样本三维检测任务上均归零;微调后性能恢复至约 8.68 [email protected],且深度贡献了超过 99% 的归一化豪斯多夫距离。研究提出了一种从粗到细的课程学习策略以优化斑马亚类的表现,并公开了视频级划分与基线检查点。
论文提出了 Diffusion-DRF 框架,旨在解决视频扩散模型微调中依赖标量奖励导致的优化不稳定和奖励黑客问题。该方法利用冻结的预训练视觉语言模型作为评论器,将用户提示分解为多维度的自由形式 VQA 解释查询以获取丰富反馈,并通过直接可微分优化实现无需偏好数据集的稳定奖励基线调整。实验显示该框架在未见过的 VBench-2.0 基准上整体性能超越最先进方法 Flow-GRPO 4.74%。
推荐理由:该工作提出无需偏好数据集的差异化奖励框架,在视频扩散微调任务上实现稳定优化并超越现有基线。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
te-comp 是首个基于 MLIR 的编译器,可将标准 TFLite 或 Safetensors 模型编译为无运行时依赖的 C 代码,包含推理引擎与 RTOS 集成层。
推荐理由:te-comp 是首个基于 MLIR 的编译器,可将 TFLite/Safetensors 模型编译为无依赖的 C 代码,在 MCU 上实现 GPT-Neo 等模型的独立推理。
针对动态高斯泼溅(DGS)依赖完美时间同步的局限,本文提出 Phase-DGS 框架,用表征运动循环状态的语义相位替代传统时间戳,建立跨相机时空对应。该方法在丢帧、相机冻结及时间偏移场景下验证有效,相比基线提升 PSNR 最高达 8.5 dB,且能无缝集成 RealTime-4DGS 和 FreeTimeGS 等现有 DGS 骨干网络。论文已获 NeurIPS 2026 接收。
推荐理由:提出用语义相位替代时间戳解决多视角视频不同步问题,在丢帧和冻结场景下显著优于基线且兼容现有 DGS 骨干网络。
VidUEU-Agent 提出一种四阶段自动化管线,从原始视频中合成指令数据以支持多模态理解、编辑及统一任务。该框架能基于下游训练结果自主迭代数据分布,优化质量与平衡性,并构建了包含 10 万样本的 VidUEU-100K 数据集。实验表明,在基准测试上微调基线模型可取得显著且一致的性能提升。
论文提出一种基于区块链去中心化自治组织(DAO)的治理框架,用于管理动态加入或离开的开放型机器人集群。研究通过智能合约编码自主规则,实现了对集群成员资格的自动调节及拜占庭行为(故障或恶意机器人)的防御与移除。仿真结果和实物验证显示,该机制能在保持集群正常运行的同时,将拜占庭机器人的数量控制在可接受范围内。材料为预印本,未提及同行评审状态。
AIRoA-0 是一个从 16,151 小时手持演示中学习的双臂操作系统,训练全程未采集任何机器人数据。该系统利用开源 YUBI 手持夹爪录制数据,仅需手腕摄像头即可在未见过的场景执行分类零件、更换扫地机配件、解拉链和折叠毛巾等任务。
推荐理由:作者基于纯手持演示数据训练出跨本体双臂操作模型,在未见过的机器人上实现 78% 成功率,并开源数据集与权重。
OpenCV 于 11 月 5 日举办开发者专场,展示如何搭配 RealSense 深度相机、NVIDIA Jetson、ROS 2 及视觉语言模型构建机器人“视觉皮层”。现场基于 AgenticROS 演示了空间推理、自主导航、人形检测交互及自然语言控制等任务,并提供可运行的开源代码。
CRAD 提出一种去中心化知识蒸馏框架,通过共享类后验实现异构架构间的参数聚合且无需中央服务器。该方法在 CIFAR-10、CIFAR-100 及 PathMNIST 数据集上,于严重非独立同分布条件下显著优于均匀平均等基线方法。代码已公开,论文已被 WACV 2027 接收。
论文提出 Splaxel 框架,针对大规模场景重建中多 GPU 训练通信开销大的问题,采用像素级局部渲染与全局合成策略替代传统的 Gaussians 同步。该方法结合几何与透射率可见性预测减少冗余,并通过无冲突相机视图合并提升利用率。在包含多达 1.2 亿高斯的大规模数据集上评估显示,相比现有最先进分布式框架速度提升最高达 7.6 倍,同时保持高重建质量。
OmniFaceRig 是一款全自动端到端管线,能将无口腔建模的静态 3D 角色网格转化为包含最多 155 个混合形状及程序化牙齿牙龈舌头的内口感知 FACS 绑定。
针对现有视觉语言系统缺乏人类中心对齐评估框架的问题,本文提出 Anthropogenic Regional Adaptation 范式及 Geographical-generalization-made-easy (GG-EZ) 方法。
论文介绍 MERIS 框架,用于在计算与时序预算有限的动态机器人环境中执行变化的有向无环图(DAG)工作负载。该方法结合比例中间截止时间、MIMONet 感知的图细化及事件驱动同步,明确区分应用 DAG、内部编解码器图和细化调度图的三种表示形式。
针对资源受限处理器,本文提出全三值化视觉 Transformer(FTerViT),将权重矩阵与归一化参数均转为三值,激活保持 8 位。通过引入 TernaryBitConv2d 和 TernaryLayerNorm 算子及知识蒸馏训练,在 DeiT-S 骨干上以 5.81 MB 体积达到 77.47% ImageNet-1K 精度,优于现有三值化方法。
论文提出 ReLATE 方法,通过可学习锚点定义图像块和文本 token 的相对表示,仅优化锚点即可实现冻结编码器间的对齐。在 13 个通用领域基准上优于对比的后验对齐方法,并在病理学零样本分类任务中达到或超过专用模型性能。
针对动态点云预训练受限于掩码重建目标导致的时空位置泄露及多模态轨迹不确定性坍塌问题,本文提出 Diffusion Masked Pretraining (DiMP) 框架。
论文提出 A-TPT 框架,旨在解决现有测试时提示微调(TPT)方法中类间文本特征角度分离不足的问题。该方法通过在单位超球面上最大化特征对的最小成角距离,促使归一化文本特征分布均匀,从而在保持准确率的同时显著降低校准误差。
针对 ControlNet++ 仅在去噪后期引入一致性损失的局限,本文提出 InnerControl 训练策略。该方法通过轻量卷积探针从包括高噪声阶段在内的扩散过程中间特征重建输入控制信号(如边缘、深度),生成伪真值以最小化整个轨迹上的对齐差异。实验表明该方法在保持感知保真度的同时提升了控制对齐效果,适用于 UNet 和 Transformer 架构及多种条件方法。
本文发布 Parametric CAD Bench v3,这是一个包含 100 个任务的基准,涵盖从文本生成 CAD、文本生成并编辑以及从工程图纸重建机械零件。
推荐理由:该基准通过几何相似度与规范一致性评估代理生成 CAD 脚本的能力,并开放了任务、配置及结果工件。
GazeTags 提出一种无需相机和计算机视觉的佩戴式头部注视感知方案,电子标签成本约 2 美元且可运行超一年。系统利用智能眼镜等穿戴设备发射的对齐红外信号唤醒标签,提供身份及物体状态等负载数据。该架构通过规避摄像头流水线实现高能效与隐私保护,已在 UIST 2026 发表并开源代码。
作者发布了 Isekai3D Synthetic Data Generation (SDG) 平台,旨在为视觉与世界模型研究提供多样化的合成游戏视觉数据。该平台结合可复用资产与 Unreal Engine 插件,采用两阶段工作流:首先进行世界仿真以记录状态、动作和相机轨迹;随后回放录制内容以生成渲染视频、图像及深度图等输出。
PlantVLM-Edge 是一个可在资源受限边缘设备运行的量化视觉语言框架,支持离线对话式作物健康诊断。该框架在 NVIDIA Jetson AGX Orin 上验证了 Qwen3-VL-2B 和 LLaVA-1.5-7B 两种模型,其中 4-bit AWQ 量化方案在两个诊断域保留了 98.6% 的全精度回答质量并将权重内存减少 49%。
本文介绍 ArabGeoText 基准数据集,覆盖利雅得和吉达的 970 个地点及 17,875 个标注实例,通过叠加 OSM 渲染图与遥感影像构建配对视图以支持跨背景评估。实验表明直接微调 Qwen3.5-4B 难以恢复所有标签,因此提出结合 YOLO26 定位裁剪与 LoRA 适配的框架,在图像视图和测试城市上均优于基线。数据集与代码将公开提供。
针对离散 3D 高斯函数建模辐射场时深度表现差、几何细节少且易产生浮点的局限,本文提出在由神经网络参数化的连续视差颜色场内学习辐射场的新方法。通过引入颜色域的连续约束与 Lipschitz 连续性限制,促使网络利用低频信号鼓励高频颜色变化以贡献几何建模,摆脱对颜色属性的单一依赖。
该方法提出一种 GPU 原生体素视频系统,将 TSDF 融合、Marching Cubes 及纹理映射等全流程驻留于 GPU,无需数据回传主机。在 CMU Panoptic 数据集上,其速度优于所有测试基线,峰值加速超过 CUDA-accelerated nvblox 和 CPU-based Open3D 一个数量级,且感知重渲染质量接近离线基准。
针对单一蒸馏方法局限,研究提出 EASD 框架,通过区域自适应采样策略协同高分辨率下的全局分布捕捉与低噪声区的细粒度监督。该方法基于 SiT-XL/2+REPA 模型在 ImageNet 256×256 数据集上实现一步生成 FID 为 1.39。代码与模型权重已公开,论文已被 NeurIPS 2026 接收。
针对现代角色复杂服装的绑定难题,本文提出TailorRig框架,将自动恢复改为艺术家驱动的受控生成。该框架支持用户指定身体模板以兼容现有骨架,并利用语义标签驱动自回归生成器合成特定类别的辅助骨骼链;同时引入分层链到骨骼的配重机制以减少权重渗漏。研究构建了包含超3.8万个模型的大规模数据集Human-Mix用于评估,实验表明该方法在骨架精度、变形稳定性和可控性上优于现有技术。
该研究报告了 PixelBench 基准,评估大语言模型在无专用图像解码器的情况下直接通过词汇表生成 RGB 像素的能力。研究发现强模型在文本到像素任务中能直接生成可识别图像,且像素理解能力与生成性能高度相关。作者还提出了像素重建微调(PRT)方法,通过混合指令数据提升模型在视觉基准上的表现,表明显式像素重建可作为有效的辅助监督信号。
推荐理由:该报告提出 PixelBench 基准与 PRT 微调方法,证明大模型无需专用解码器即可直接生成像素图像。
论文介绍 RoboColosseum 分布式评估框架,结合统一策略服务与标准化协议,在网络中本地部署的多样化机器人上评估物理智能。初始研究对比了五种视觉语言动作模型和三种前沿 AI 代理在四种具身形态上的表现。
DynaCell 评估套件旨在解决三维时序虚拟染色性能表征不足的问题,结合了无荧光标记与有标记的配对图像、基线模型及像素级、细胞器分割和单细胞表型相似性三个指标层级。
该报告针对计算机图形学中代理系统研究术语分散、难以系统理解的挑战,提出两项贡献:一是建立涵盖多样化任务的代理系统统一分类法;二是开发辅助人类研究者大规模分析现有及新发表论文的代理文献系统。基于此,报告分析了新兴研究趋势,并讨论了跨任务协调代理与工具、设计人机协作界面与表示、维持长程规划与细化以及可靠评估交互式图形系统等开放挑战。材料为预印本论文,未涉及具体产品发布或真实部署结果。
推荐理由:报告提出计算机图形学代理系统统一分类法与文献分析工具,梳理多任务趋势并探讨人机协作、长程规划及评估等挑战。
针对预训练流匹配模型难以适配编解码器退化轨迹的问题,论文提出 RIFT 框架以解决压缩依赖的方向失配。该框架引入残差几何诱导器(RGI),利用解码器可见的编码线索将预训练流预测转化为内容自适应的恢复更新,并整合时间步条件、全频段残差强度估计及方向增益调制。在三个公开视频压缩基准上的实验表明,该方法优于现有的生成式视频压缩方法。代码已开源。
推荐理由:提出 RIFT 框架,利用解码器可见的编码线索自适应修正流预测方向与幅度,在三个公开基准上优于现有生成式视频压缩方法。
论文介绍 RSI-Env 环境,支持智能体的自主训练、工具修改及研究状态保留。独立主机控制器管理服务与版本,智能体在 Open-General、Capability-Directed 和 Benchmark-Guided 三种设置下对比外部 Teacher。
本文提出并验证了一种用于无人机集群的去中心化运行时安全验证算法,旨在户外环境中防止碰撞。研究针对尺寸、重量和功耗受限的无人飞行器集群,修改并增强了基于可达性的避撞方法。
该论文总结了 Mobile AI 2026 挑战赛的结果,旨在解决移动设备上高效将全高清图像放大至 4K 分辨率的问题。参赛团队针对高通骁龙 8 Elite Gen 5 NPU 和联发科 Dimensity 9500 NPU 分别设计了 INT8 量化与浮点解决方案。