NVIDIA Holoscan 5 助力机器人手臂实现重力补偿与零感操作
NVIDIA Holoscan 5 通过持续计算逆动力学,使机器人在手动引导时仅需电机提供支撑扭矩即可保持直立并抵消重力。该技术为示教学习、物体操作及人机协作提供了关键的基础闭环能力。
NVIDIA Holoscan 5 通过持续计算逆动力学,使机器人在手动引导时仅需电机提供支撑扭矩即可保持直立并抵消重力。该技术为示教学习、物体操作及人机协作提供了关键的基础闭环能力。
11 月 9 日,百度文心首次披露递归自我改进系统 ERNIE Evolve,该系统能自主提出研究方向、开展实验并积累经验。目前 ERNIE Evolve 已应用于即将发布的文心 5.5 Flash 推理优化,在昆仑芯 P800 低时延场景生成速度提升至基线 623.6%,确定性推理吞吐提升至基线 133.7%。
推荐理由:百度披露递归自我改进系统 ERNIE Evolve,已用于文心 5.5 Flash 推理优化并开源基座版本。
LobeHub 团队将支持 Agent 自主拆任务、派活、写代码、审 Bug 及跨项目接力的协作平台 LobeHub 开源。实测显示,其主管 Agent 可组建多智能体编辑部完成选题与网页开发全流程,并能临时新建 Worker 接力工作;系统通过共享工作空间保留进度,结合 Acceptance 验收机制确保人类掌握最终控制权。GitHub 仓库已开放源码供部署体验。
针对流式 3D 重建中受限于恒定内存预算导致的长序列漂移问题,本文提出一种无需训练、零参数且永不丢弃帧的标量帧级门控机制。该方法基于内部特征变化推导封闭形式的写权重,灵感源自 SLAM 的关键帧选择策略。
ManiTaskGen 是一个自动为任意给定场景生成全面、多样且可行移动操作任务的系统,涵盖基于过程的具体指令和基于结果的抽象指令。该系统在仿真与现实场景中验证了有效性,并利用生成的任务构建基准以评估基于现有视觉语言模型(VLM)的代理的高层具身决策能力,同时提出利用这些任务增强具身决策的方法。代码已开源。
针对极化合成孔径雷达(PolSAR)数据处理难、特征提取网络能力受限的问题,本文提出 PolSAM,一种融合领域特定散射特性的增强型 SAM 模型。该方法引入微波视觉数据(MVD)表示,并设计特征级与语义级两种融合提示策略以解决模态不兼容及优化分割提示。实验在 PhySAR-Seg 数据集上验证了其在精度、存储与推理速度上的优势。代码与数据将公开提供。
AnimWeb-Bench 是首个针对从视频重建完整动画网页的代码生成基准,包含 124 个涵盖 7 大领域和 33 种动画类型的真实网页。该基准通过静态外观保真度与动画保真度两个维度评估多模态大语言模型(MLLM)及编码智能体,发现显式帧检查与渲染反馈能显著提升代码智能体的重建质量。相关代码与数据集已公开,旨在填补现有评测仅关注静态截图或孤立动效的空白。
针对四旋翼飞行器在未见轨迹上姿态估计泛化性不足的问题,该研究提出一种改进的学习型惯性里程计方法。通过采用机体坐标系表示并融入扭矩动力学至学习流程,模型预测短时相对位移并与 IMU 测量融合进扩展卡尔曼滤波中。实验表明该方法在公开数据集上的速度误差低于现有最先进方法,且源自旋翼信号的扭矩输入信息量最大。代码、数据管道及训练好的模型均已公开。
LAAS-GEPETTO 团队发布开源单图人体网格恢复模型 InstantHMR,基于 Momentum Human Rig 参数化模型并在 SAM 3D Body 数据集上训练。
论文介绍了 A2-MEAS 具身多智能体框架及 A2-WLA 动作模型,利用代码作为扩展接口结合 MetaBrain 进行训练监督与运行时引导。在 BEHAVIOR 2026 基准上 Q-score 达 0.5755-0.6411,RoboTwin 2.0 平均成功率超 93%,真实机器人长程任务失败后恢复率从 8% 提升至 82%,训练吞吐量提升 4 倍。
推荐理由:该框架通过代码接口与冻结权重的自适应设计,在仿真与真实机器人任务中均实现了显著的性能提升。
针对鱼眼镜头效应和分析器不完美导致的偏振测量退化问题,作者提出了一种联合镜头 - 分析器校准方法,通过统一八参数公式显式建模入射角依赖的镜头透射率。该方法仅需手持户外序列即可估计相机帧间旋转并实现偏振校准,无需专用设备或预设天空模型。
推荐理由:提出了一种仅需手持户外序列即可完成鱼眼镜头偏振校准的方法,无需专用设备或预设模型。
针对传统刚体仿真在处理复杂表面和精细网格碰撞时效率低下的瓶颈,本文提出了一种从头设计的仿真框架 Lodos。该框架引入了新的宽相位与窄相位碰撞检测例程及后续接触动力学计算,在保持物理保真度与现有主流模拟器相当的同时,将详细网格碰撞场景的吞吐量提升了约一个数量级。源代码已开源。
推荐理由:提出专为接触丰富场景设计的轻量级仿真框架,在保持物理保真度的同时将详细网格碰撞吞吐量提升约一个数量级。
芯驰科技正式开源D9-MAX软件SDK,该SDK基于车规级异构单芯底座,主要面向具身智能“小脑”场景,旨在为物理AI和机器人研发提供底层算力与软件支持。针对传统多板架构的痛点,D9-MAX芯片在一颗芯片内融合感知、运控与安全岛功能,其基于ARM DynamIQ Shared Unit技术,将12核CPU划分为8核与4核两个物理独立集群,实现运控与交互任务的物理硬隔离。
推荐理由:芯驰科技开源面向具身智能的D9-MAX软件SDK,提供车规级异构单芯底座与实时协议栈,支持6轴运动控制与功能安全认证。
针对多模态智能体长期交互中信息检索的局限性,该研究提出了 HiVe-Mem 框架。该方法利用文本和视觉锚点构建关系图以进行水平记忆扩展,并保留摘要、图像等多种形式的证据进行垂直组合,通过轻量级选择器自适应地利用异构信息。实验表明,该框架在三个基准测试中均提升了任务性能,且相比最高效的基线减少了约 90% 的 Token 消耗。材料为预印本论文,代码已开源。
MuJoCo v1.4.6 更新抛光了有限元(FEM)、物质点法(MPM)及粒子动力学(PBD)等非刚性求解器,使可微仿真原生兼容 PyTorch 且速度提升约 3 倍。该版本在 GPU 小批量场景下将刚体与隐式 FEM 求解器提速数倍,内存减半并支持更多物理设置器。修复了包括接触力丢失、NaN 发散及 fp64 精度在内的多项关键 Bug,同时移除了不稳定的稳定流体求解器。
该研究调查了在策略蒸馏中,因量化和异步生成导致的训练 - 推理失配对模型质量的影响。实验表明 OPD 对一定程度的失配具有鲁棒性,但超过阈值会退化;部分层对低精度更敏感。作者提出了轻量准入检查以筛选配置,并给出了 FP8 配方,在保持质量的同时显著提升了 KV-cache 容量和训练速度。代码已开源。
硅谷华人团队 AFK AI 正式开源其智能体产品 Comma,该系统基于「单 Router+ 多 Worker」架构,支持长期记忆、持续学习与 7x24 小时在线值守。
NVIDIA 推出 Reshard Collective,解决强化学习后训练中推理与训练并行时的 GPU 资源解耦难题。该技术允许在独立 GPU 上运行策略模型推理并实时生成轨迹,同时仅对训练 GPU 更新权重且定期刷新全量参数。此方案显著提升了物理 AI 模型训练的并行效率与资源利用率。
针对部分可观测环境下多机器人协同难以通过无通信实现的问题,本文提出 CoDiMAD 框架。该方法利用 MAPPO 训练全局特权 Oracle,构建离线数据集,并通过条件去噪扩散概率模型将 Oracle 蒸馏至仅依赖局部感知的学生网络。
EgoKit 工具包在 Android、iPhone、iPad 等六种异构设备上实现了统一的 Egocentric 视频录制工作流,并支持头姿与 OpenXR 标准手部追踪。基于该工具采集的 HumanEgo 数据集经仿真验证,策略在 100 个未见布局中完成立方体放置任务的成功率为 60%-74%,表现接近 Project Aria 数据训练的效果。代码已开源供机器人学习与具身智能研究使用。
该研究提出了 Kineo 系统,这是一个全自动、无需相机标定的无标记运动捕捉流程,适用于由不同步且未校准的消费级 RGB 相机拍摄的视频。该方法利用现成检测器的 2D 关键点同时完成包括 Brown-Conrady 畸变系数在内的相机标定,并重建度量尺度的 3D 关键点和密集场景点图。
论文介绍 Stylos,这是一个针对未标定内容的单前向 3D Gaussian 框架,用于从单张图像到多视角集合的 3D 风格迁移,条件依赖于独立的参考风格图像。
EDGAR 是一种条件扩散框架,旨在修正高斯头像重建中的模糊、拉伸等伪影并保持身份保真度。该方法构建混合数据集 EDGAR-SET,利用自监督 Sapiens 模型提取特征注入一步扩散骨干网络,并采用专家混合架构处理不同退化类型。实验显示其在感知和重建指标上优于原始输出及基线方法,且具备跨视角一致性和极端姿态鲁棒性。代码已开源。
推荐理由:该工作提出利用合成失败案例训练扩散模型以修复高斯头像重建中的伪影,代码已开源。
Cosmos Policy 和 RoboCasa 审计显示,在干净数据上学到的价值选择器比随机差 1.66 个百分点,82% 的状态候选结果相同。Token 剪枝虽降低 FLOPs 但端到端加速仅达 1.15 倍,未达 1.5 倍目标且自适应分配实验无结论。研究还发现并修复了计算密集型规划路径下渲染腐蚀率上升的问题,发布了检测器与修复脚本。
SCALE 提出一种针对网络受限与异构任务截止时间的物理智能体实时潜在通信方案,通过匹配连续消息中的 token 相似度来复用信息并避免冗余传输。该方法在三个基准测试及蜘蛛机器人案例中显著提升了带宽受限网络下的任务性能与准时交付率。代码已开源供复现。
SLA 是一个从 pi05 策略初始化、利用冻结三维感知模型进行联合优化的空间语言动作模型,旨在将隐式空间对齐能力扩展至持续预训练阶段。该模型通过特征依赖门控自适应聚合多 VLA 层视觉嵌入,并融合部分深度与相机标定数据以支持异构机器人数据集的空间学习。所有辅助组件仅在训练时使用,允许直接复用预训练的 VLA 权重并保持原始推理架构不变。
针对高阶教育中 ROS 配置门槛高的问题,该研究提出一种自定义 Python 库,实现从仿真到物理 TurtleBot3 Burger 的直接控制器迁移。该库镜像 Webots API,提供电机、编码器及 LiDAR 等传感器访问接口,并附带自动化部署脚本。在自动驾驶入门硕士课程的应用中,该方法降低了 ROS 基础设施复杂度,帮助学生聚焦算法逻辑与真实行为。
该研究提出了一套面向轮式移动机器人的视觉自主导航开源栈,旨在有限传感与计算资源下整合感知、定位、规划与控制。系统连接了YOLOv8n检测、几何方向估计、RGB-D SLAM、轮惯状态估计及运动学感知规划,并通过行为树管理任务。
推荐理由:该研究提供了一套面向轮式移动机器人的视觉自主导航开源栈,集成了YOLOv8n检测与RGB-D SLAM,在Jetson Orin NX上实现了低延迟感知,并公开了数据集与评估日志。
CHARMIE 项目展示了一款用于协作和服务机器人的开源 3D 打印手臂,支持通过摄像头结合机器学习进行基于遥操作的手部姿态估计。该设计还利用 Denavit-Hartenberg 方法通过运动学定义动作并计算末端执行器在三维空间的位置。论文包含 20 页内容和 16 张图示,已在 arXiv 提交待注册 DOI。
该论文提出了分形阻抗控制器的最新架构——谐波被动运动范式(H-PMP),并构建了支持 ROS2、MuJoCo 及物理硬件集成的统一开源框架。通过 Kinova Gen3 机械臂在轨迹跟踪、突发接触丢失和示教学习三个实验中的对比,结果显示 H-PMP 能在无计算开销下实现导纳与阻抗行为的无缝切换,适用于非结构化环境。材料为预印本,未报告真实机器人部署结果或量产状态。
推荐理由:原文介绍了谐波被动运动范式的统一框架与开源软件套件,并通过三个实验验证了其在非结构化环境下的交互能力。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
该论文介绍 GEKey,一个利用 SE(3) 不变几何度量(测地线偏心率变换)进行自监督学习的框架,用于识别点云中的显著特征点并实现模型与物体内在结构的对齐。实验在 ShapeNetCoreV2、KeypointNet、CAPE、ITOP 和 DeformingThings4D 等数据集上验证了其在关键点检测和对齐方面的最先进性能及抗噪能力。
针对自动驾驶多视角系统需合成统一宽视域的需求,本文提出 Wide-View Gaussian Splatting (WV-GS) 框架。该方法无需逐场景优化,通过 Piecewise Perspective Rendering (PPR) 缓解边缘拉伸,利用 Spatial Affine Photometric Modeling (SAPM) 处理相机依赖的光度变化。
Video-Coder 是首个训练代码驱动的视频生成智能体的尝试,能够自主编写和执行代码来构建动态 3D 场景以提供结构与运动信号。研究设计了专用数据管道和两个高质量数据集(Video-Coder-SFT-6k、Video-Coder-RL-2k),并开发了集成代码执行与 3D 渲染的统一交互环境 Video-Coder Harness。
LeRobot 软件栈 v0.7.0 重构了安装、训练推理及硬件底层,移除 cu128 索引并升级 torch 至 PyPI CUDA 13 构建。新版本将环境配置重命名为*EnvConfig 格式,统一策略数据类型为单精度,并新增 FSDP2/HSDP 并行训练框架与 opt-in EMA 权重平滑功能。
Alpha Blending Hypothesis 提出主流帧级深度伪造检测器主要作为 alpha blending searcher 工作,通过定位合成伪影而非语义异常实现跨数据集泛化。
该论文介绍 EgoM2P,一个针对首视角(egocentric)视频的深度理解框架。面对 RGB、深度、姿态和视线等多模态数据异构及伪标签生成的挑战,作者提出高效的时间分词器与掩码建模方法。
针对检测 Transformer 跨域性能不足问题,研究提出包含 DQFA 与 TDA 模块的序列特征对齐(SFA)新方法。实验在三个挑战性基准上显示,该方法优于现有最先进领域自适应目标检测方法。代码已公开于 GitHub 仓库。
论文提出了 cuRoboV2-Fast,这是一种 GPU 加速的规划器,旨在降低无碰撞、感知负载且受扭矩限制的运动规划的延迟和执行时间。该方法利用 B-spline 轨迹优化减少迭代次数,并通过加速机器人计算和可微逆动力学适应变化的负载。
该研究提出了 Open-HumanScale-50K 数据集及 Open-HumanWAM 模型,这是首个将以第一人称视角的人类视频预训练规模扩展到 5 万小时的完全开放方案。
推荐理由:原文给出了基于5万小时人类视频预训练的开放配方与实验结果,相关团队可据此复现并验证纯人类数据在机器人策略学习中的缩放规律。