跨视图一致性在多视图外观增强中的重要性:一项针对视觉运动策略的受控研究
Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。
推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。
Zixuan Jiang 在 arXiv 发布了一项关于多视图视觉增强的受控研究,利用仿真状态回放解耦了跨视图关联与单相机扰动分布。实验涵盖七个 LIBERO 操作任务,结果显示全局外观、鬼影注入和目标颜色的边际匹配变化对晚期融合扩散策略的平均成本影响微小;而几何反耦合观测使成功率下降约 3.30 个百分点。
推荐理由:该研究通过受控实验量化了多视图外观增强中不同一致性形式对下游控制策略的影响,为选择性约束提供了依据。
针对机器人操作任务中模仿策略在训练时利用本体感知信息(proprioceptive anchor)来折扣感知噪声的现象,本文给出了一个基于方差比 $eta = V/(V + s^2)$ 的解析公式。
推荐理由:论文揭示了模仿策略如何利用本体感知锚点修正感知噪声,并在闭环部署中验证了该机制对成功率的预测能力。
针对复杂体表个性化生物电子设备的需求,本文提出一种结合 3D 视觉、六自由度机械臂和直接墨水写入的 AI 引导机器人原位打印平台。系统利用 AI 进行伤口分割以确定尺寸与局部曲率,并将重建的三维几何信息纳入接收线圈与叉指电极的电磁设计,以补偿由几何形状引起的谐振行为偏移。研究在人体组织等效前臂假人上演示了该工艺,将假人的介电特性融入 RF 优化,实现了接近目标频率(25 MHz)的谐振操作。
针对富接触操作(如插入)中视觉模仿学习数据效率低且易受无关视觉干扰的问题,研究对比了主流视觉基础模型与显式以接触为中心的表征。实验通过遮挡和物理容差扰动验证发现,最佳表征存在显著任务依赖性,但空间锚定及接触中心信息在仿真与现实实验中均展现出独特价值。该工作强调了在真实视觉复杂度和传感器噪声下可靠估计此类线索的难度,并呼吁进一步研究感知与策略学习的融合。
TouchTwin 针对现有视觉追踪无法观测手指接触力度与时刻的缺口,利用头手 RGB-D 相机和 880 触点的手套采集的人类演示数据在 MuJoCo 中重建交互。
该研究提出了 X-Nav 系统,据称是首个将双足人形机器人通过语言指令从室内引导至室外的长航程导航系统。系统包含 MELIOR 视觉导航模型(仅用 RGB 图像输入)和 X-Navarch 智能工作流。
针对电机扭矩仅占肩关节重力矩约 6% 的欠功率直接驱动平面两连杆机器人,本文提出沿其非线性正常模态进行摆动上升的方法。该方法将输入力矩分解为功率中性的转向分量与标量泵送分量,利用基于模型的误差率约束构建线性规划以最大化能量注入,无需稳定化反馈增益。硬件实验验证了沿两种模式的摆动上升能力,并与求和截断及优先稳定化策略进行了对比。
推荐理由:原文提出利用非线性模态控制欠功率双摆,通过线性规划分配能量注入与稳定化输入。
该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。
推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。
简智机器人在美国奥斯汀举行的 CoRL 2026 大会上展出新一代 DAS 2.0 多模态数据采集产品矩阵,包含 Dex2.0 灵巧手套、Ego 2.0 第一视角设备及腕部相机。系统提供三种数据配置以适配不同任务需求,并将环境观察、手部交互与身体运动纳入同一时间轴和空间参考。简智机器人计划完善采集体系并推进开源建设,为物理 AI 模型训练提供底层支撑。
11月13日意优科技合肥工厂正式开业,达产后预计年产协作机械臂约2000条、年产值可达4000万元。该基地聚焦协作机械臂制造,与上海研发及无锡关节制造协同完善华东布局。当地汽车半导体场景需求契合其应用方向,为后续产业联动奠定基础。
大晓机器人近日发布最新研究成果ACE-CaP-0,该研究探索通用模型通过主动获取经验自主开发、验证和优化机器人技能。ACE-CaP-0创新性地结合按需示范与按需仿真机制,AI智能体可自主判断请求人类示范或开展仿真实验,并结合真机反馈修订代码策略。
大寰机器人科技股份有限公司于 11 月 14 日完成 IPO 辅导备案,其核心产品五指灵巧手 ADH-5-13 拥有 13 个主动自由度且整机抓取后最大提起负载可达 20kg。公司产品已应用于 3C、半导体等领域并服务超 5000 家客户,国内电动执行器销量位居首位。
NVIDIA SOMA Retargeter 将人类演示中的协调性与时序适配至不同比例的机器人关节结构,解决直接复制无法匹配机械范围的问题。该技术作为具身智能训练起点,利用人类动作数据高效指导双足机器人学习从日常行为到复杂任务的移动技能。
AGIBOT 六台 G2 轮式人形机器人在上海徐汇区一家运营中的便利店完成了为期 24 小时的实地测试,累计执行了 1,730 项任务。其中四台机器人通过了包含客户互动、咖啡制作、货架补货和清洁在内的最终性能评估,两台未达标。
简智机器人在CoRL会议上发布DAS 2.0旗下两款新品,包括第一视角头戴式多模态数据采集设备DAS Ego 2.0和灵巧手数据采集手套DAS Dex 2.0。
深圳具身智能公司星尘智能发布了面向多机器人协同操作的模型框架CoMind(Be My Eye)。该框架通过去中心化的主动共享与任务关键信息的精选压缩,让机器人在独立决策的同时交换对任务有用的信息。
研究在走廊导航场景下对比了目的地与通过侧两种意图表征,发现后者经自适应更新后能带来更流畅的人体运动且感知能力更强。即便行人处于分心状态,可读性运动仍能支持平滑交互,尽管主观评分未始终反映该优势。两项用户实验(N=45)证实基于共享模型预测控制框架的互动级意图表征对社交机器人导航有效。
针对传统过行收获机非选择性损伤果实、且现有选择性机器人仅针对单果效率低的问题,本文提出 CLASP 机器人系统。该系统配备软式主动滚带夹爪(SARB-Gripper),通过闭环力控将拉力控制在未成熟果实脱落阈值以下;结合眼手相机与眼在手相机的全局 - 局部感知管线实现簇定位与姿态估计。
针对果实采摘后处理需避免压伤但刚度随成熟度变化的难题,本文提出一种仅利用伺服编码器与电机扭矩的控制器。该策略通过设定作物与夹爪固定的应变上限和刚度下限,在接触时估算物体尺寸并保守修正刚度估计,最终将停止力控制在目标应变范围内。
该综述针对软体机器人中仅靠压力无法决定气动致动器性能的难题,系统分析了腔室形状、增强件布局及折叠结构等设计策略对线性、弯曲、扭转和全向四类运动的影响。文章进一步探讨了材料刚度与内部约束层如何权衡出力、气耗、重复性及耐用性,为穿戴、生物医疗及移动机器人应用中的紧凑高效系统设计提供选型依据。
针对软袖式执行器出力机制不明的问题,研究构建了包含轴向刚度的准静态分析模型。实验表明在 125 kPa 压力下,该 LSSA 出力随延伸从约 112 N 降至近零,且静载荷会显著降低输出力。结果证实了压力、几何形变及轴向刚度对软体执行器力学行为的耦合主导作用。
论文提出 AVI-HT 方法,利用同步的多模态训练数据(穿戴式视觉与 6-DoF IMU)及跨传感器深度注意力机制,实现对重度遮挡下的高精度三维手部姿态追踪。在 DexGloveHOI 数据集上的实验表明,该方法相比基线将平均关键点误差降低 16.1%,腕部对齐变体降低 24.2%,并将手指与物体的接触丢失率减少 8.5%。该工作已接受发表于 NeurIPS 2026。
该系统将紧急制动建模为最优控制问题,在模型预测控制框架下生成时间最优且防溢出的停止轨迹。作为即插即用的安全层,该方法叠加于现有无晃动运动规划之上,能在检测到危险时立即响应非线性液体动力学。仿真及七自由度 Franka Emika Panda 机器人实验证实,系统可实现快速紧急制动且不发生液体溢出。
针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。
推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。
论文介绍 CineWild,这是一种针对野生动物纪录片的无人机自主航拍模型预测控制(MPC)框架。该方案联合控制无人机运动与相机焦距,通过自适应变焦、避开动物视野及平滑低噪机动,在影像质量与动物福利间取得平衡。研究在仿真环境中进行了消融实验并与基线对比,同时在真实世界完成了感知与相机执行管线的概念验证。作者表示将开源代码。
该论文提出一种统一的概率虚拟夹具(VF)框架,旨在根据任务阶段的不确定性自适应选择触觉反馈模式。系统支持在手动夹具、半自动夹具(人处理精密任务)和全自主模式之间无缝切换。
论文提出了 OPA-Pack 框架,旨在解决现有机器人装箱方法仅关注几何形状而忽略物体属性(如易碎性、可食用性等)的问题。该框架利用检索增强生成和思维链推理构建了包含 1032 个日常物体属性标注的数据集,并通过 OPA-Net 编码物体属性与容器状态。实验表明,该方法将避障准确率从 52.3% 提升至 95.0%,易碎品负载减少 29.4%,并在物理平台测试中优于基线及其他启发式方法。
针对现有基于模型的方法在处理复杂物理接触和建模误差时的局限性,本文提出了一种融合触觉感知的双层框架。高层通过接触隐式的模型预测控制联合生成参考手指运动与接触点,实现在线反应规划与扰动恢复;底层利用手力 - 运动模型与触觉反馈并发跟踪这些参考,补偿建模误差并增强鲁棒性。
推荐理由:该工作提出双层框架,结合接触隐式 MPC 与触觉反馈以解决模型误差问题。
针对非线性时间最优模型预测控制计算成本高难以实时的问题,本文提出一种集成化架构以实现数据高效的实时神经模仿。核心贡献包括自信息采样策略、联合处理数据集相关性等挑战的完整训练与控制架构,以及在 Furuta 摆上的真实世界验证。
BrickFlow 针对给定零件与组装图像推断部件姿态的任务,提出结合分析连通性场引导的 SE(3) 流模型以解决离散物理约束难题。该研究仅用 1% 数据微调注入图像条件,在 NeurIPS 2026 预印本中展示了提升构建质量的实验结果。相关模型与数据已面向科研目的公开提供。
针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。
推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。
XBot-Omni 提出 Thinker-Talker-Actor 架构,将全模态范式扩展至机器人肢体运动与面部表情。该模型在七个基准测试中展现了强大的多模态理解能力与自然协调的运动生成效果。研究验证了其直接从全模态输入生成具身多模态响应的能力,实现了从对话交互到物理环境具身通信的延伸。
FORGE 提出一种无需全身运动轨迹或关节角度参考的力感知多粒度控制系统,仅需稀疏的双腕位姿与粗略运动指令即可部署。该系统结合动量观测器与仿真接触力监督训练的修正策略,在无手腕力/力矩传感器下通过本体感觉估计低频等效交互力并稳定全身校正。实验验证了其在刚性物体持续接触挤压、不同负载下的蹲起搬运任务中的统一控制稳定性及下游扩散策略执行效果。
ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。
推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。
论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。
推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。
针对手机分心行人不可预测的偏离行为,该研究提出基于 3D 骨骼特征和随机森林分类器的实时注意力感知导航框架。用户研究显示,在 252 次试验中,该方法相比仅用 LiDAR 或仅轨迹预测的基线,显著提升了平滑度与可预测性且未增加通行时间。实验证实,只有结合注意力状态感知的代价地图调整,才能有效改善主观导航质量。
论文介绍 Reins 框架,使 GPT-6.1 Sol 等前沿大模型能在无任务特定代码的情况下,通过调用工具与原子动作控制双臂机器人。系统包含一个编排实例负责链式执行带条件的动作,以及一个叙事者实例持续监控摄像头并报告变化。
针对低阻抗夹爪,研究提出基于小信号分析的导纳表征方法,量化负载扰动下的动态响应。实验显示同一物体同位置抓取刚度可差两个数量级且共振特性不同。非线性仿真证实该方法有效捕捉抓取动态行为,相关预印本已发布。
HALO 是一种针对全身体移动操作的人机对齐数据采集系统,通过保留直接物理反馈与天然运动能力解决现有接口在感知、动作对齐及操作员移动性上的权衡难题。相比 Mobile ALOHA 和 VR 遥操作,HALO 将演示采集速度提升最高 2.9 倍,同时在六阶段长视界任务中保持相当或更高的成功率。经部署对齐处理策略训练后,系统在涉及重复协调基座与手臂运动的复杂操作中达到 73.3% 的成功率。
VOKE 是一个运动学感知感知框架,通过可插拔模块预测物体的线角速度加速度并优化位姿估计。在 DexYCB 和 OakInk 数据集上,该方法显著降低了速度与加速度误差,优于基于位姿差分的方法。下游应用利用增强策略在无微调情况下成功从仿真迁移至物理机器人,验证了感知到控制的完整路径。