ReWorld:面向具身视频生成的多维奖励建模框架
当前具身视频生成模型多侧重视觉质量而忽视物理保真度与动态一致性。本文提出 ReWorld 框架,利用强化学习对齐视频生成以匹配物理真实感、任务完成能力、具身合理性与视觉质量。研究构建了约 23.5 万条的视频偏好数据集,训练了分层奖励模型以捕捉多维人类偏好,并提出了基于高效 PPO 风格算法的后训练流程。实验表明该方法在物理保真度、逻辑连贯性、具身性及视觉质量上均优于先前方法。
当前具身视频生成模型多侧重视觉质量而忽视物理保真度与动态一致性。本文提出 ReWorld 框架,利用强化学习对齐视频生成以匹配物理真实感、任务完成能力、具身合理性与视觉质量。研究构建了约 23.5 万条的视频偏好数据集,训练了分层奖励模型以捕捉多维人类偏好,并提出了基于高效 PPO 风格算法的后训练流程。实验表明该方法在物理保真度、逻辑连贯性、具身性及视觉质量上均优于先前方法。
该研究针对动态空间中机器人需持续感知环境的挑战,提出一种名为 PS-PRM 的 GPU 并行化概率路图规划器。该方法利用神经代理模型近似感知分数(如目标检测置信度),将其融入运动规划搜索过程,以解决运动与感知需求冲突及实时评估成本高的问题。实验表明,该规划器在静态和动态环境下的仿真及真实机器人实验中,均优于基于强化学习和轨迹优化的基线方法。
推荐理由:提出 PS-PRM 规划器,利用神经代理模型近似感知分数并引入 GPU 并行,解决高自由度机器人在动态环境中运动与感知的联合优化难题。
论文提出 SpecPrune-VLA,一种无需训练的、两层级的动作感知自推测剪枝方法,旨在解决现有 VLA 加速方法忽略全局上下文导致成功率下降的问题。该方法结合局部信息与全局历史静态减少视觉 token,并基于层重要性动态剪枝,同时根据末端执行器速度区分粗细粒度动作以调整剪枝强度。
Gibbs Variational Last Layers 通过吉布斯变分推断重构训练目标,在合成环境、混沌系统及真实数据上显著优于单步似然训练。该方法结合连续排名概率分数优化多步自回归卷展,大幅改善长视界预测准确性与分布拟合度。论文已获 NeurIPS 2026 接收,代码与权重开放许可待注册。
本文发布 Parametric CAD Bench v3,这是一个包含 100 个任务的基准,涵盖从文本生成 CAD、文本生成并编辑以及从工程图纸重建机械零件。
推荐理由:该基准通过几何相似度与规范一致性评估代理生成 CAD 脚本的能力,并开放了任务、配置及结果工件。
论文介绍 TriPhysBench 基准和 TriPhys 框架,旨在评估和提升具身智能体的物理感知、知识检索及定量推理能力。基准包含来自 200 个视频的 410 个问题,涵盖测量驱动与知识驱动的子任务;现有六款视觉语言模型中最佳者准确率仅 50.38%。
推荐理由:该工作提出 TriPhysBench 基准与 TriPhys 框架,揭示现有模型在物理感知、知识检索与推理协同任务上的不足并提供改进路径。
本文介绍 Tutorial Agentic Learning(TAL),一种无需参数更新的非参数化持续学习范式,通过两阶段对抗过程将教程视频整合为持久化的结构化记忆库,并在推理时利用目录树进行检索。研究构建了 VidLearn 基准,基于 72 个国际象棋教程视频,结果显示 TAL 在训练和测试集上分别比基线模型提升 113% 和 91%,且在双人实战中 69% 的对局开局阶段表现更强。
该研究提出“悬链线可见性”概念,为地面机器人与空中无人机组成的系留系统构建几何规划框架。算法先求解二维平面子问题以确定可行发射点及缆绳长度范围,进而推广至三维受限障碍物场景。论文解决了确定从给定三维目标出发、在地面平面上可行的部署区域这一计算挑战。
该研究提出一种结合光谱神经网络、规范分位回归及区间算术的框架,为四旋翼飞行器在闭环线性二次调节器下提供可校准的轨迹预测与控制点区间。经重构后的网络在树莓派 Zero 2 W 上实现 3.45ms 的推理时间,含轨迹推断的总流水线耗时 9.81ms(约 100Hz),满足典型控制频率要求。
现有 GUI 基准多依赖精确指令,而真实场景中用户指令往往模糊且依赖历史。本文介绍 MemU-Bench 基准,包含 118 个基于 29 条长轨迹的模糊任务,要求智能体从噪声交互流中提炼记忆并检索缺失上下文。
论文 AuroraWorld 提出一种结构化 4D 世界建模方法,用于从大规模外视角(exocentric)机器人操作视频中合成物理一致且策略相关的内视角(egocentric)观测数据。该方法旨在解决现有技术在处理大幅视点变换、严重遮挡及复杂物体交互时难以生成高质量内视角视频的难题。材料为 arXiv 预印本版本,未提及同行评审状态或具体实验结果。
Pixel 是一个协同设计的完整系统,旨在通过低成本轮式人形机器人、合规夹爪及统一全身控制器学习通用移动操作。该系统整合了遥操作与免机器人数据采集接口,支持语言条件视觉运动控制及长视界任务执行。研究在硬件、数据收集与策略学习上进行了评估,展示了需灵巧性、主动感知、导航及全身协调的移动操作行为。
论文提出 Pixel-UMI 框架,利用传感器化的人类演示数据学习环境感知的全身操作策略。该方法引入环境感知重定向(EAR)结合场景几何与人体轨迹生成避障关节目标,采用延迟校准动作分配解决运动学差异,并通过误差感知掩码(REAM)减少部署时的视角失配,最后利用 DAgger 收集在线人类修正以增强接触丰富交互的性能。
EgoActionBench 引入包含 1407 个片段与 41132 个人工精修标注的新基准,将连续操作拆解为左手、右手或双手关联的原子化动作。该基准通过检索候选并评估语义保真度与时序重叠,揭示当前模型在动作原子性、时间精度及手 - 动作关联上的局限。
WISE 是一种在推理阶段对世界动作模型采样结果进行评分与筛选的方法,通过评估动作有效性、时序规律性、逆动力学一致性及任务进度,从四个候选中执行得分最高者,无需更新模型参数。
该论文提出了 TAMPAgent 框架,旨在解决开放世界中机器人移动操作面临的几何不确定性问题。研究将大视觉语言模型(LVLM)的推理能力与任务运动规划(TAMP)系统的结构化约束求解相结合,构建了一个基于可扩展 API 的信念空间规划模型。
本文研究了利用中间机器人助手引导大型群体的技术,针对野生动物群等“不可治理”的群体场景,对比了低层级遥操作与基于集体形状(如边界控制)的高自主性运动原语接口。实验结果表明,后者在虚拟现实牧羊任务中提升了表现并降低了感知工作负载。该论文已接受发表于 IROS 2026,属于预印本状态。
论文提出 SNAP 方法,利用单一语义标注鸟瞰图同时推理语义地形与动态障碍物,避免依赖显式的人体状态估计。该方法在拥挤城市环境中优于现有的人群避让和语义感知基线,并成功实现零样本迁移至足式机器人,展示了在高动态真实场景中的社会合规导航能力。
推荐理由:提出基于语义鸟瞰图的强化学习导航策略,无需显式人体状态估计即可在拥挤场景实现社会合规导航,并验证了跨足式机器人的零样本迁移能力。
针对过驱动多旋翼在采样指令和变时延下鲁棒性边界不足的问题,提出一种无需计算 Lipschitz 常数的测试方法。该方法利用转子对扭矩的单调响应结构,将可达速度域限制在廉价计算的盒内,并在预知角落寻找最低就绪值,从而保证命令执行期间就绪度不低于阈值并提供备用扭矩维持认证轨迹。
Copilot Assistance Modes(CAM)框架通过体外实验对比了从手动到全自主的六种机器人导航模式。结果显示,全自主仿真成功率为 81%,但体外降至 23%;而人机共享自主模式成功率达 92%-97%,约为全自主的四倍且接近直接控制水平。研究证实,通过人机协作分配控制权可有效缓解仿真到现实的域偏移问题。
该工作论证了现有两个独立组件可构成完整的人体世界模型:KNOWN 负责实时三维人体重建并估计偶然性与认识论不确定性,PhysMoP 负责基于学习动力学项求解欧拉 - 拉格朗日方程以预测未来身体构型。作者定义了两者接口,提出了三种让不确定性进入物理模型的机制,并制定了野外视频评估协议。材料未报告新的实验结果,仅作为 CoRL2026 UncertainWM Workshop 的预印本提交。
该综述提出针对上肢外骨骼的连续肌电控制“解码器 - 整形器 - 控制器”功能框架,明确区分意图估计、辅助策略设计与底层执行。分析指出当前整形模块缺乏成熟调优方法且常被嵌入其他组件,报告存在不一致及跨自由度验证不足等关键问题。文章据此提供模块化系统调优设计指南并指明未来研究优先方向以弥合实验室与真实工况差距。
OpenZilo 是一个集成麦克风、惯性测量单元及皮肤温度传感的开源智能戒指平台,旨在连接用户输入与机器人物理动作。该平台定义了七种运行模式,在包含五种指令和每种模态 250 次试次的实验中,语音与手势的任务成功率分别达到 90.4% 和 88.8%,整体任务成功率为 70.0%(手势)或 64.0%(语音)。
论文提出 ForceLDM 模型,旨在解决视觉策略在接触丰富操作任务中难以推断接触状态与交互力的问题。该方法通过知识蒸馏,利用拥有未来力和光流信号的教师网络提取动态特征,并将其迁移至仅依赖当前观测的学生网络,使部署时无需未来感官输入即可推理后续接触与物理动力学。此外,引入课程渐进噪声注入策略以提升鲁棒性。实验在五个真实世界任务上验证了其在性能、泛化性及抗扰动方面的优势。
推荐理由:提出 ForceLDM,通过知识蒸馏将含未来力信号的教师网络特征迁移至仅用当前观测的学生网络,解决接触丰富任务中的动力学建模难题。
VerifLM 是一个将图像编辑生成的目标配置转换为经物理验证的六自由度物体位姿的框架。该方法利用编辑后的图像恢复主动与被动物体间的初始相对位姿,提示视觉语言模型生成分轴采样约束和任务特定验证程序,并在物理模拟器中评估候选位姿。
推荐理由:该框架将图像编辑目标转化为经物理验证的位姿,在无需预定义网格的情况下实现高成功率。
TRAILS 是一个自动化框架,可生成包含环境布局、路径及时间参数化运动剖面的完整虚拟导航场景。该工具结合基于约束的程序化环境生成器与优化三次贝塞尔曲线技术,在仅需少量直观用户定义参数的情况下,自动产出满足预设几何与运动学约束的多样化室内场景。代码已公开于相关 URL,适用于遥操作与人机实验研究。
KlaskTron 是一个基于动态桌面游戏 KLASK 的低成本(<2500 美元)桌面级机器人测试床,旨在解决物理多智能体强化学习基准稀缺的问题。该平台配备双 CoreXY 龙门架和高扭矩无刷电机,支持高速精确操作。项目完整开源了硬件 CAD/BOM、NVIDIA Isaac Lab 数字孪生仿真环境以及经过验证的零样本策略迁移基线(使用学习到的神经执行器模型),所有资产均公开以确保证据可复现。
推荐理由:开源低成本桌面级对抗多智能体强化学习平台,含硬件设计、数字孪生及零样本策略迁移基线。
针对手术多模态大模型计算成本高且直接知识蒸馏在手术数据上不稳定的问题,作者提出 SurgPace 框架。该方法利用预测置信度和洛伦兹几何一致性估计样本复杂度,引导从易到难的连续训练过程;同时引入分层表示对齐机制,逐步将训练重心从模仿教师转向任务监督。
本文介绍 VLALagBench 基准,用于研究视觉语言动作(VLA)模型的推理延迟敏感性。研究发现即使仅 100 ms 的延迟也能使移动目标任务成功率减半,且异步执行虽能部分恢复成功率但会增加请求频率。作者构建了经验模型,利用有限校准数据预测任务成功率,均方根误差仅为 5.7-7.8%,旨在指导算法与系统的协同设计。
该研究提出一种基于叠加规则驱动向量场的分布式框架,通过单一标量通信实现多无人机系统的刚性编队路径跟随。实验验证了五旋翼机群在保持 V 形构型追踪螺旋路径及旋转圆形构型追踪垂直线时的有效性,且碰撞避免得到形式化保证。
SyncHeC 是一种针对连续运动的无标记手眼标定框架,通过单条机器人轨迹联合估计相机几何与时序偏移。该方法利用连续时间前向运动学使延迟可微分,结合度量深度与掩膜轮廓,并采用离线规划器融合空间敏感性与时间激励,支持 Eye-to-Hand、Eye-in-Hand 及多相机标定。
MS-DOTT 是一个包含长距三维传感、短距精细感知及 4D 雷达测速的非道路多模态数据集,覆盖正常光照、低照度与无光条件。研究团队利用该数据适配了最先进多传感器融合方法以进行通过性估计,旨在推动非结构化环境下的机器人感知与多传感器融合研发。
论文提出 ReContact 方法,通过物体中心接触规划解决人形机器人在遮挡场景下的位姿重建与力对齐问题。该方法在仿真中于股骨支撑的重抓任务上达到 83.5% 的成功率,并将工作空间内的管状物体转移成功率从 20.4% 提升至 97.8%。实物实验在宇树 G1 机器人上执行了七项富接触操作和两项移动操作任务。材料为 arXiv 预印本版本,尚未通过同行评审。
针对自主服务机器人在人类环境中社会导航进展受限的问题,该工作提出了 RESONATE 基准,基于统一机器人平台和共享 ROS 2 软件栈,提供精确轨迹真值和结构化社交交互场景。
推荐理由:该工作提供了基于统一平台的社会导航基准,包含可复用的基线、数据及评测协议,支持社区开展人类感知导航研究。
针对机器人泛化难题,本文提出了 PointPilot 框架,该框架基于 3D 空间点流预测构建任务导向的操作策略。不同于全局场景建模,它仅表示与任务相关的物体(含机械手),在统一坐标系下支持闭环全自动执行,无需单独训练动作头或依赖特定单臂模式。模型端到端联合学习子任务规划、物体定位及 3D 点流预测,能吸收异构数据演示并实现零样本本体泛化,即单个策略可部署于未见过的机器人上完成任务且无需微调。
该研究论证在卫星自主巡检任务中,算法选择并非设计核心,关键在于是否允许智能体漂移、记录漂移状态及规划视界长度。移除任一要素会使燃料消耗翻倍,而基于忽略燃料的世界模型代理会浪费数倍燃料。此外,决策层下的控制屏障函数滤波器成功消除了两千年评估回合中的所有禁飞区违规。
针对现代角色复杂服装的绑定难题,本文提出TailorRig框架,将自动恢复改为艺术家驱动的受控生成。该框架支持用户指定身体模板以兼容现有骨架,并利用语义标签驱动自回归生成器合成特定类别的辅助骨骼链;同时引入分层链到骨骼的配重机制以减少权重渗漏。研究构建了包含超3.8万个模型的大规模数据集Human-Mix用于评估,实验表明该方法在骨架精度、变形稳定性和可控性上优于现有技术。
CHERI 月球微型漫游车采用铝制底板、非爆炸释放机构及四弹簧阵列实现分离,经拓扑优化将固有频率提升至 84 Hz 以满足 70 Hz 要求。最终构型通过正弦振动、随机振动及冲击测试,光学运动捕捉验证了着陆器清除效果并确认俯仰角速度为关键可控参数。
论文提出了 ReGATE,一种结合以自我为中心的深度、本体感知及在线移动与接触命令的全局控制器。该方法基于教师 - 学生框架,利用循环适配器预测物体几何与物理接触,无需外部姿态估计器;通过头部级和全局门控调节视觉更新路径。研究在仿真中实现了静态与动态物体的高成功率获取,并在宇树 G1 硬件上演示了抓取、搬运及释放序列,验证了在初始观察后相机被遮挡情况下的成功交互能力。
针对软体抓取中多模态噪声大、语义模糊及数据稀缺的挑战,作者发布包含 100 个物体、1000 条连续轨迹及 74914 个样本的 Soma 数据集,以及用于评估冻结编码器迁移效果的独立结果集 Soma-Success。