GUI-Lens:通过粗到细裁剪实现通用 VLM 的精确 GUI 定位
该论文介绍 GUI-Lens 框架,旨在解决通用视觉语言模型(VLM)在高分辨率、高密度界面中难以精确定位目标的问题。方法从截图提取 OCR 文本和 UI 组件作为坐标参考,利用指令和当前视图让 VLM 选择并裁剪放大下一区域,通过多轮聚焦逐步确定目标位置,最后将局部坐标映射回原屏幕。
推荐理由:提出粗到细裁剪框架,使通用 VLM 在高分屏 GUI 任务中定位精度提升显著。
该论文介绍 GUI-Lens 框架,旨在解决通用视觉语言模型(VLM)在高分辨率、高密度界面中难以精确定位目标的问题。方法从截图提取 OCR 文本和 UI 组件作为坐标参考,利用指令和当前视图让 VLM 选择并裁剪放大下一区域,通过多轮聚焦逐步确定目标位置,最后将局部坐标映射回原屏幕。
推荐理由:提出粗到细裁剪框架,使通用 VLM 在高分屏 GUI 任务中定位精度提升显著。
本文介绍 VEGA 方法,通过从单目视频中重建局部场景几何,采样导航目标(文本、图像或空间路点)并生成避障轨迹,从而训练流匹配 VLA 导航策略。该方法仅在训练中利用几何信息,将避障规划直接蒸馏到视觉策略中。
Sensorium 是一个开源 Python 库,旨在解决具身手术 AI 对可靠多模态数据的依赖问题。该工具利用 ROS 和 ROS2 中间件,支持从可配置的机器人和传感器流中记录、处理、标注及整理数据,并具备面向操作者的数据采集、语义标注及数据集生成功能。
ReLift 提出一种高效前馈框架,将稠密 3D 跟踪重构为几何轨迹修复与补全任务。该模型在 WorldTrack 数据集上实现最先进精度,动态点平均准确率提升 3.0 APD,且运行速度优于 4RC。其架构仅依赖几何输入即可训练,无需针对特定跟踪器或几何模型重新训练。
该研究提出了一种由现成组件构建的开源膝部外骨骼,其生物扭矩控制器完全源自仿真而非设备特定数据采集。通过肌肉驱动的模仿策略从公开数据集复现深蹲动作并蒸馏出仅依赖车载传感器的估计器,实现了在七名受试者中无需新数据即可将峰值膝关节伸展力矩降低 21.5%。材料证明了基于仿真的生物扭矩控制器可迁移至物理硬件,且软硬件管线同步开源便于研究对比。
Zixiong Wang 和 Haiping Ma 在 arXiv 上发布论文 A Patch is More Than a Token,提出 PMTT 框架以扩展视觉 Transformer 的单 Token 接口。
推荐理由:该文提出 PMTT 框架,证明预训练视觉骨干网中补丁信息远超标准单 Token 接口暴露的内容。
作者 Seungwon Choi 发布了 OpenVIO,这是一个基于 MIT 许可的开源视觉惯性里程计(VIO)系统。该系统支持针孔相机、鱼眼相机以及拼接后的 360°全景图像,并详细描述了各模块的设计考量。材料提供了在公开数据集上与其他开源 VIO 系统的基准测试结果,但未报告真实机器人部署结果或具体应用场景的性能数据。
针对传统零阶方法样本需求大、现有首阶方法在接触动力学中梯度爆炸的问题,论文提出∇Mimic框架与NablaEngine引擎。通过每步反向传播的梯度裁剪和多步回归技术,结合专为宇树G1优化的可微GPU仿真内核,该方法在单卡上40分钟即可达到世界模型方法的跟踪分数,显著优于基线且开源了相关基础设施。
推荐理由:提出基于可微仿真的首阶策略学习方法,配合专用加速引擎将训练效率提升数倍并开源。
论文介绍了 Veloxity,这是一个用内存安全的 Rust 语言编写的开源无人机自主飞行控制固件。作者对比了与 C++ 实现的等效自动驾驶仪,通过仿真、硬件测试台和户外航点跟随飞行测试,证明了 Veloxity 在功能上对等且性能更优。该研究旨在解决航空航天领域内存安全语言采用碎片化的问题,表明现代内存安全语言是构建可靠高性能自主航空系统固件的可行选项。
论文提出了 Contact Imitation Interface (CIMI) 框架,旨在通过无机器人的人体演示来规模化灵巧操作数据。该框架包含演示与学习两个接口:演示接口结合共享接触几何、指尖 RGB 视图及接触优先重定向技术;学习接口引入分层策略,由接触表面规划器预测相对轨迹并由控制器协调手腕与手指指令以优化对齐。
推荐理由:提出 CIMI 框架,通过接触几何对齐与分层策略,在 LEAP 和 Wuji 数据集上使六组手部任务的最终成功率提升至少 50 个百分点。
智元 AGIBOT 完成 Genie Sim 仿真平台重大版本迭代,聚焦柔性物体交互难题。平台自研物理引擎实现刚柔接触分区求解与 20 倍加速,并推出基于真实画面的世界模型闭环仿真以复现柔软物体形变。
Axion 1.0 是一个完全开放的智能体基础模型,采用仅含两个轻量监督微调加强化学习的三阶段极简训练配方,无需中间训练、直接偏好优化或在线蒸馏。该模型通过基于自身成功策略合成难题来发展自包含推理能力,并通过可扩展管道构建基于真实数据源的多样化可验证任务以扩展工具依赖推理,最后利用强化学习增强长程推理及与外部工具和环境的交互。
DeepSeek官方开源了名为Super-agent的自主智能体(Personal Agent)底层架构原型,旨在解决传统单会话模式下人类注意力受限的问题。该系统采用双层架构设计:上层Router负责跨平台任务调度与上下文维护,下层Worker负责具体执行;同时引入投机执行、订阅直通机制及独立Watchdog看门狗以实现主动发现Bug、异常自愈和24小时在线运行。
面壁智能开源算子生成系统ForgeKernel,其Agent在无源码、无论文参考情况下,于英伟达B200上通过42轮迭代将FlashMLA Prefill算子耗时从518微秒降至472微秒,超越人类手写巅峰9.8%。该系统在昇腾CANN三大榜单均排名第一,且已在国产芯片与英伟达平台完成MiniCPM5-1B长训测试,标志着AI研发主体正从人类转向模型。
推荐理由:面壁智能开源ForgeKernel,展示Agent在无源码情况下将FlashMLA算子提速9.8%,并已在国产芯片与英伟达平台完成真实训练测试。
智元在创新日发布具身基座模型GO-3 Preview和全模态交互大模型WITA-OMNI,两者分别在作业与交互评测中登顶。公司同时推出第三代硬件架构AHA3、精灵G2 Max本体及灵渠OS 1.0系统,并宣布今年年底全面开源灵渠OS 1.0,向开放原子开源基金会捐赠该项目,开放2亿行代码与5000多个生态软件包。
推荐理由:智元发布新一代基座与交互大模型,并宣布年底全面开源灵渠OS及2亿行代码。
2026年10月29日,智元在创新日发布具身全模态端到端交互大模型WITA-OMNI 1.0和原生操作系统灵渠OS 1.0。WITA-OMNI在四项权威评测中位列第一,支持全双工快慢双模架构,已在长隆乐园完成超100万次真实交互验证;灵渠OS通过全栈确定性时延优化,将于年底全面开源并捐赠给开放原子开源基金会。
FreeTransformSR 提出一种基于通道级自由低秩可学习变换的轻量化超分辨率网络,通过局部特征调制分支与软复杂度自适应模块动态融合卷积与注意力输出。在 BSD100 x2 和 Urban100 x4 数据集上,该模型仅用 595K 参数即实现 32.41 dB PSNR 和 27.00 dB SSIM,推理速度优于竞品,适合资源受限场景部署。
作者发布了 Ego-OSCAR,这是一个基于商品化零件和 3D 打印的低成本(约 200 美元)开源头显采集平台。系统集成了硬件同步的全局快门双目相机与 6 轴 IMU,通过嵌入式 Linux SBC 进行端侧编码,并利用微控制器实现亚毫秒级时钟域桥接与故障监控。
论文提出了 CylindTrack 框架,旨在解决移动机器人全景视觉中的坐标不连续与深度估计波动问题。该方法通过联合建模全景拓扑结构与时间深度一致性,包含深度 - 时序轨迹建模、球面时空一致性学习及拓扑感知圆柱运动模型三个核心模块。
作者推出了 M,这是一个开源的低成本桌面社交机器人平台,旨在降低社交机器人研究的门槛。平台结合了模块化机械设计、多模态感知和简单的执行器架构,并配备了 ROS2 原生软件包以分离感知、表达控制和数据管理。
socx 是一款利用 JAX 实现的 GPU 加速求解器,专为处理带机会约束的提升凸线性随机最优控制问题。在悬停线性的三维四旋翼测试中,其速度较 MOSEK 提升最高达 98 倍、较 SCS 提升 2224 倍,且能解决长达 N=1120 的时间步长任务而 MOSEK 会在 N=320 时耗尽内存。该工具通过分布式优化将问题分解为独立的线性二次型跟踪与欧几里得投影子问题并行求解。
针对机器人运行时重规划需求,Kairos 系统能读取包含持续动作、数值资源、时间窗口等复杂特征的 PDDL 描述,并快速交付验证过的计划。该系统根据任务语义自动从五种异构求解器(地面启发式搜索、压缩时序搜索、混合动力学步长、提升搜索)中选择引擎并在统一预算下调度,所有候选计划均经独立验证器检查。
推荐理由:Kairos 通过语义感知自动调度五种异构 PDDL 求解器,在九套基准测试中解决任务数优于各套件最强专用求解器,并开源了代码与评测工具。
MUSBRIC 是一套模块化硬件平台及 MuJoCo 仿真器,通过兼容 LEGO 的端盖将纤维增强气动人工肌肉转化为即插即用模块。肘关节原型验证了负载依赖屈伸与机械止动稳定直姿功能,四足机器人演示了行走能力。相关硬件设计与仿真代码即将开源以支持复现与开发。
arXiv 论文介绍 LiDAR-SHIELD,这是一个统一的、完全 Docker 化的框架,用于对基于 LiDAR 的 3D 感知模型进行对抗鲁棒性压力测试。
针对 3D 高斯泼溅训练中依赖一阶梯度导致冗余增殖和几何重建不准的问题,该研究提出 ACD-GS 框架。该方法利用二阶深度响应作为结构先验,通过非对称调节克隆与分裂操作以更好捕捉几何不连续性,并引入多视角光度一致性约束及容量感知自适应策略来平衡训练过程中的稠密化与剪枝。
针对少样本语义分割中正向示例信息不足的局限,本文提出 Specified Visual Prompt Segmentation (SVPS) 设定,要求同时利用正向和负向视觉提示来明确目标概念。
UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。
推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。
论文介绍了 SONIC-K1,这是据称首个针对 Booster K1 人形机器人的开源全身体动作追踪器。该策略在单块共享 GPU 上从头训练,计算资源远低于原始 SONIC 框架。仿真结果显示其能追踪大部分未见过动作片段并在外部基准测试中表现良好;真实机器人上可追踪上半身及慢速运动,但步态和转向可靠性较低且对动作延迟敏感。代码、策略权重与评估工具已公开。
推荐理由:作者将 SONIC 框架适配至 Booster K1,在单 GPU 上实现全身动作追踪,公开了策略权重与评估工具。
针对现有方法依赖短程交互导致长时信息利用不足及融合表示不一致引发闪烁的问题,论文提出 MemoryFusion 框架。该框架分两阶段工作:第一阶段结合短期记忆库与长期记忆库以兼顾局部引导与历史保留,并利用时序平滑模块进行背景稳定;第二阶段通过轻量级 3D 残差时序细化模块修正剩余不一致性并增强结构细节。实验表明该方法在多模态视频融合质量与时序一致性上优于现有基线。
论文提出了 OpenFlyV2,这是一种统一的机载视觉 - 语言 - 动作架构,旨在解决现有系统依赖离板计算或无法在资源受限平台上维持闭环运行的问题。该模型利用共享的视觉 - 语言表示支持语义理解、基于语言的感知、空间推理和连续空中控制,并通过紧凑的动作专家将多模态上下文转换为短时程飞行航点。
推荐理由:该工作提出统一机载视觉语言动作架构,实现零样本仿真到真机四旋翼飞行迁移,代码将公开。
针对长程机器人任务缺乏错误恢复与帧级标注数据的空白,作者开源了包含 3156 个回合、涵盖两个操作任务的 ReSTEP 数据集,提供语义阶段标签和帧级错误注释。为此提出的 REMORA 在线进度估计器结合了循环视觉记忆、分布预测和因果峰值选择机制,以解决视觉相似阶段的区分与时间一致性难题。实验显示该模型在进度准确性和时序一致性上均优于现有最先进基线 SARM。
Jev 通过类型化查询原语实现高效决策,但跨原语一致性未被系统评估。该工作引入四轴基准 PrimaCons,发现所有 Jev 尺寸均存在一致性违规,且此类差异能以 0.91 的 ROC-AUC 预测决策失败。
针对水下视觉畸变和动态水流导致的域偏移问题,纽约大学团队收集了 1616 集水下操作数据并开源了 BLUEMBODIED KIT(含数据集、训练框架及 ROV 部署工具)。
作者发布了基于 Genesis 构建的 DexSuite 全合一仿真框架,集成了 30 个任务、10 种机械臂、12 种末端执行器及标准化环境 API。该框架提供遥操作接口与模拟触觉传感,并定义了包含 16 对任务 - 本体组合的基准,同时开源了来自人类遥操作、脚本专家及学习策略生成的 4,700 个成功仿真集数数据集。
SoMark团队发布国产开源OCR模型OXR,参数量仅1.3B,在OmniDocBench、olmOCR-Bench和DocParsingBench三项全球榜单中均位列第一。
推荐理由:国产1.3B OXR模型在三项全球榜单登顶,利用RSI自进化范式解决文档解析难题。
智元在创新日推出 Worken 框架以量化机器人真实环境下的自主工作产出,并发布 AHA3 集成硬件、AGILE 运动智能及 GO-3 Preview 基础模型。材料介绍了 Link-U OS 1.0 操作系统开源计划与 G2 Max 工业机器人的部署案例,未报告真实机器人部署结果或具体性能数据。
Autoware 2.0 正式发布,在原有规则基线栈旁新增 AI 规划器选项,采用生成 - 选择架构让用户通过 launch 参数选择 Diffusion Planner。基础模型与数据集已迁移至 Hugging Face,并引入 Autoware Index 管理外部仓库及 Autoware Reference Design 提供可复现的部署配置。
推荐理由:Autoware 2.0 新增扩散规划器与生成 - 选择架构,并将基础模型迁移至 Hugging Face。
智元在 AGIBOT Innovation Day 2026 上推出 Worken(有效智能工作小时)框架,用于衡量机器人在真实环境中的自主产出效率。
推荐理由:智元发布 Worken 生产力评估框架及 AHA3、GO-3 Preview 等新品,并宣布 Link-U OS 1.0 捐赠 OpenAtom 基金会。
逐际动力更新了开源工程底座 FluxVLA Engine 的第二版技术报告,重点补充了在线强化学习后训练实验、仿真评测扩展及真机部署验证。报告显示,在仿真侧支持多种策略接入 LIBERO 闭环评测;推理端针对多组模型与设备组合的实测显示,优化后的推理频率提升显著。
地瓜机器人大模型团队于10月27日开源世界模型仿真平台Uranus,发布技术报告、推理代码、SDK及两个版本模型权重,面向全球开放早期体验名额。
推荐理由:地瓜机器人开源Uranus仿真平台,提供因果架构与流式推理机制,支持多本体接入及分钟级连续推演。