跳到正文
10月29日周四
  1. Hugging Face Daily Papers84

    CaPtain:一种用于后训练代码策略机器人的流水线

    论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。

    推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。

10月28日周三
  1. 盖世汽车 · 汽车资讯78

    无界动力开源 MWA™-Phoenix 隐空间世界模型基座

    无界动力发布并开源了端侧 7B 参数、完整预训练的 MWA™-Phoenix 隐空间世界模型基座。该模型在 LIBERO-Plus、LIBERO-Pro 及 RoboDojo 真机榜等六项评测中位列榜首,其中 LIBERO-Plus 总体成功率达 94.63%。

    同一新闻,精选展示《无界动力发布并开源MWA™-Phoenix隐空间世界模型基座》

  2. 量子位72

    百度文心 Unlimited OCR 2 正式发布并开源,KV 缓存占用降 96% 支持整本书连续识别

    百度发布文心 Unlimited OCR 2 并开源,该模型通过稀疏参考滑动窗口注意力机制 SR-SWA 和无限解码机制,将百页级文档推理时的峰值 KV 缓存从 47GB 降至 1.77GB。材料展示了其连续处理《哈利·波特》全集等长文档的能力,并在 MarathonDocBench 基准上取得最高分。开源地址已提供,适用于年报、技术手册及整本书的解析场景。

  3. 量子位77

    RoboParty发布全栈开源人形机器人RP1,开放从机械图纸到运动算法的底层研发链路

    RoboParty正式发布全栈开源人形机器人RP1,提供从机械结构、电气系统到底层控制与仿真训练工具的全套资源。RP1拥有24至30个自由度,搭载自研ROMOMO关节模组,公开URDF及网格模型等资源,并开放hhtools动作重定向等开发底座,旨在降低硬件适配门槛,支持开发者深入研究与修改底层技术。

    推荐理由:RoboParty发布全栈开源人形机器人RP1,开放从机械图纸到运动算法的底层研发链路。

  4. Hugging Face Daily Papers8

    Your Policy Is Secretly a Harness:智能体接口的决策几何研究

    研究发现语言模型智能体的策略隐含了训练 harness(提示词、工具与控制逻辑)的偏好,更换 harness 会同时改变最优回报上限与策略失配项。在 MiniWoB++ 实验中,仅调整观察字段顺序使成功率为 85.0% 的策略骤降至 19.2%,而新 harness 的上限提升能显著改善后续训练效果。代码已开源,相关预印本论文发布于 arXiv。

  5. arXiv · 机器人与计算机视觉8

    GAUGE:面向前馈 4D 追踪的组级视差不一致校正方法

    GAUGE 是一种免训练且模型无关的后处理模块,通过恢复运动组的径向尺度与平移来修正单目视频中的视差不一致误差。在包括 D4RT、4RC 和 SM4RT 在内的八个动态查询点追踪器上,该方法将端点误差降低了 15.1% 至 62.6%,显著优于仅用梯度微调带来的 -1.1% 至 15.2% 提升。代码已公开提供下载。

  6. arXiv · 机器人与计算机视觉85

    FTP-1:一种面向多种触觉传感器的通用触觉基础策略

    FTP-1 是首个通用的触觉基础策略,旨在解决现有触觉策略依赖固定本体和传感器的问题。该模型通过异构编码器将图像、阵列及状态信号投影为统一的形态感知潜在 token,并由共享触觉 Transformer 专家联合建模。

    推荐理由:FTP-1 是首个跨传感器触觉基础策略,在 26 个数据源预训练后,未见过的传感器也能提升接触丰富操作的成功率。

  7. arXiv · 机器人与计算机视觉72

    MO-Playground:面向机器人的大规模并行化多目标强化学习

    论文提出了 MO-Playground 和 MORLAX,旨在解决现有多目标强化学习算法无法有效利用大规模并行化的问题。MORLAX 是 GPU 原生的新算法,配合可 pip 安装的 MO-Playground 环境库,能在几分钟内近似帕累托集,相比传统 CPU 方法快 26-271 倍,相比先前的 GPU 方法快 19 倍,同时学习出更优的帕累托前沿超体积。

  8. arXiv · 机器人与计算机视觉48

    EgoThumb:一款视觉驱动的超数拇指机器人,实现自主抓握与持物辅助

    EgoThumb 是一款完全开源的视觉驱动超数机械拇指,通过紧凑的双肌腱驱动结构将执行器移至前臂以减轻末端重量。系统利用基于视觉的模仿学习策略,直接将手掌朝向相机的自中心图像映射为连续关节位置,从而解码人类意图并实现跨用户与环境的鲁棒自主操作。所有硬件设计与软件实现均已开源,相关论文已获 IEEE/RSJ IROS 会议接收。

  9. arXiv · 机器人与计算机视觉48

    CTBakeGS 实现无需训练的 CT 体积渲染到 3D 高斯泼溅转换

    CTBakeGS 方法将 CT 体积渲染直接转换为 3D 高斯泼溅模型,无需训练即可在普通电脑约一分钟或更短时间内完成。该方法利用自适应八叉树和图形处理器计算颜色与不透明度,六组公开扫描的 PSNR 达 30.1-32.6 dB,转换耗时 4-60 秒,笔记本渲染帧率达 68 FPS。代码与项目页面已开放,适用于交互式医学影像查看。

  10. arXiv · 机器人与计算机视觉82

    GCSR-OCC:面向开放词汇的室内占用预测几何校准与语义路由方法

    该论文提出 GCSR-OCC 框架,通过证据守恒高斯到占用算子(EC-G2O)抑制尺度膨胀并校准响应,利用多模式查询优先高斯语义路由(MM-QGSR)匹配文本查询以细化 voxel 级预测。

    推荐理由:提出 GCSR-OCC 方法,结合几何校准与语义路由解决开放词汇占用预测问题。

  11. arXiv · 机器人与计算机视觉64

    RAVEN:一种用于四旋翼无人机在定位不确定性下快速自主视觉探索的统一主动 SLAM 系统

    论文介绍 RAVEN,这是一个针对四旋翼无人机的统一主动 SLAM 框架,旨在解决未知环境下的快速自主视觉探索与高定位精度之间的平衡问题。该系统通过识别前沿和主动闭环候选点生成全局巡游方案,并利用效用向量量化探索效率与定位精度,最终根据优先级参数选择最优路径。

  12. arXiv · 机器人与计算机视觉63

    Torch-Hand:一种具备人类级关节结构的连杆驱动全自由度人形灵巧手

    这篇论文介绍了一种名为 Torch-Hand 的全自由度人形灵巧手,拥有 21 个自由度,其中拇指具有 5 个自由度以提供广泛的对指能力。该设计采用完全基于连杆的传动架构和螺杆连杆驱动,实现了高抓握力和负载容量,同时保持了紧凑的人体形态。

  13. arXiv · 机器人与计算机视觉68

    Hy-Nomas:面向自由形式交互的世界生成技术报告

    arXiv 发布的技术报告介绍了 Hy-Nomas,这是一个基于 8B 扩散骨干的视频世界模型,支持多轮次交互中的自由文本指令与连续相机控制。其核心设计将结构化视频描述与动作感知因果注意力对齐,并通过视觉语言提示增强器处理多模态历史。研究展示了优于现有模型的评估结果,并开源了模型权重、代码、基准及轻量级适配工作流以支持可复现研究。

  14. arXiv · 机器人与计算机视觉82

    LOWN:一种基于证书的视觉路由方法用于高效扩散 VLMs

    针对扩散视觉语言模型(DVLMs)在每个去噪步骤处理全部输入导致计算冗余的问题,作者提出 LOWN 解码方法。该方法通过比较有无图像时的预测差异来生成证书,仅在预测不一致时才调用图像进行验证,从而决定该步是否处理图像及解掩码的 token 数量。

    推荐理由:提出 LOWN 方法,通过证书引导的视觉路由在无需微调的情况下将解码 FLOPs 降低至平均 35.3%。

10月27日周二
  1. arXiv · 机器人与计算机视觉23

    NucShare:轻量级核实例分割模型实现基础模型精度

    NucShare 通过共享 U-Net 风格解码器与任务专用轻量化头,在 PanNuke 数据集上以仅 37% 的参数量匹配或超越三个独立解码器的性能。学生版 NucShare-S 结合 ConvNeXt V2-Tiny 编码器,在保持教师版 99.1% mPQ 的同时推理速度提升 27.5 倍,并在 MoNuSeg 实现 0.668 的零样本 bPQ。

  2. arXiv · 机器人与计算机视觉42

    Plug, Play and Comply:基于插件的 ROS 2 合规控制框架发布

    该研究提出一种机器人无关的框架,通过插件架构将 ROS 控制器模板与控律实现分离,支持刚度、阻尼及零空间目标等标准接口。系统利用 Pinocchio 计算 URDF 动力学,并在真实机器人曲面跟随实验中验证了在线任务对齐合规性,同时展示了跨不同运动学特性的机械臂移植能力。完整框架含参考控制器与高层任务接口作为开源软件提供。

  3. arXiv · 机器人与计算机视觉82

    Crazyflow:一款准确、GPU 加速且可微分的无人机仿真器开源发布

    Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。

    推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。

  4. arXiv · 机器人与计算机视觉63

    GPT-Image-2 在野测试:推特首周发布的 AI 生成图像数据集

    作者基于 OpenAI 于 2026 年 4 月 21 日发布的 GPT-Image-2,通过多阶段清洗流程从推特/X 公开帖子中构建了包含 10,217 张确认图像的社交媒体数据集。研究分析了图像的可读性、人脸检测及语义聚类特征,并发现推特的 CDN 在上传过程中系统性地剥离了 C2PA 内容凭证,使得基于加密证明的溯源验证不可行。所有数据与清洗代码已公开。

  5. arXiv · 机器人与计算机视觉78

    Guardian:利用视觉语言模型检测机器人规划与执行错误

    针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。

    推荐理由:提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。

  6. arXiv · 机器人与计算机视觉58

    SPECOLA:面向规范驱动的机器人仿真评估工具

    SPECOLA 是一款用于在仿真环境中评估机器人行为是否符合信号时序逻辑规范的开源工具。它提供 Python API 和命令行接口,允许用户定义规格并创建相应监控器,同时集成了 LIBERO、RoboCasa、Isaac Lab 等九个仿真环境的适配器。该工具旨在弥补单纯依赖成功率指标的不足,能够量化任务完成裕度、对目标参数的敏感度以及潜在的规范违反情况。代码与适配器已公开。

  7. arXiv · 机器人与计算机视觉59

    HiFiPix:将高保真现实世界超分辨率带回像素空间

    针对基于扩散的现实图像超分辨率受限于 VAE 潜在表示信息丢失的问题,作者提出 HiFiPix 框架以在像素空间实现高保真重建与精细生成。该方法利用跨尺度小波判别器抑制块边界伪影,通过 MixCSD 正则化中间表示,并引入选择性 LoRA 剪枝以平衡生成能力与重建精度。实验表明该框架在恢复准确性和感知质量上显著优于现有潜在空间方法,代码与模型即将发布。

  8. arXiv · 机器人与计算机视觉56

    面向可泛化人类高斯泼溅的复杂度引导正则化方法

    针对现有可泛化人类高斯泼溅方法在复杂几何与纹理区域存在细节丢失和渲染模糊的问题,本文提出一种基于局部熵的复杂度引导正则化方案。该方法利用衣物几何与纹理特征的局部熵作为先验,约束高斯分布密度以防止在复杂区域过度稀疏采样,同时优先从复杂区域抽取局部图块进行监督训练。实验表明,该方法在基准数据集上实现了最先进性能并保持了实时推理速度。代码与模型已公开。

  9. arXiv · 机器人与计算机视觉74

    JevVLA:受 Jev 启发的能量基适应框架用于视觉语言动作策略

    针对视觉语言动作(VLA)策略的离散候选选择与连续运动控制问题,本文提出 JevVLA 轻量级能量基适应框架。该框架在冻结预训练策略的基础上,利用执行反馈或专家修正学习可微标量能量函数以建模动作提案的相对质量:其值用于比较离散候选项,梯度则用于校正或引导连续动作生成。

  10. arXiv · 机器人与计算机视觉48

    MedAdaptAgent:自动适配医学影像模型到新站点的工作流

    MedAdaptAgent 利用 LLM 驱动的规划器,将预训练模型自动适配至新医院场景。在 26 个分割与分类迁移任务中,仅需 20 个本地标注即可使平均分割 Dice 从 0.483 提升至 0.774(相对增益 60.1%),且相比仅选最高分模型,有害分类替换率降低 30.8%。项目已在 GitHub 开源代码,并在七种公开模型部署中验证了跨对比度与模态的复现交付能力。

  11. arXiv · 机器人与计算机视觉72

    面向四旋翼无人机的拦截导向球形轴承非线性模型预测控制研究

    针对搭载惯导相机的四旋翼拦截器需同时解决机动与相机指向耦合冲突的问题,提出 ISB-NMPC 方法,结合 S^2 上的姿态补偿扩展卡尔曼滤波进行目标方位预测。在 30 次配对仿真试验中拦截成功率达 86.7%,平均可见时间占比 99.11%;户外飞行实现约 150 米外获取 30 厘米目标,长航程速度约 17 m/s,追击机动目标时约 14 m/s。代码与硬件开源。

  12. arXiv · 机器人与计算机视觉58

    ToDoPro:基于下采样自探测的更快更好参考生成

    ToDoPro 针对多参考图像生成中的 Token 爆炸问题,提出一种无需额外参数且兼容现有模型的加速方案。该方法通过在空间上 2 倍下采样的参考图像执行少量去噪步骤进行廉价探测,利用模型自身提取参考 Token 的重要性,随后在主要去噪阶段前分层削减低重要性 Token、替换中重要性 Token 并保留高重要性 Token。

  13. arXiv · 机器人与计算机视觉48

    Gazebo 集成 WSR 仿真框架开启多机器人 WiFi-CSI 感知研究

    该开源仿真框架将 WSR 感知流水线集成至 Gazebo,生成具备真实物理特性的合成 WiFi-CSI 数据以支持运动诱导测向与定位。研究通过 TurtleBot3 机器人在仿真与真实世界的对比实验验证了该方法的有效性,降低了多机器人系统中基于 WiFi-CSI 感知的入门门槛。所有代码及实验细节已公开,为将其作为模块化感知模态融入多模态感知系统奠定基础。

  14. arXiv · 机器人与计算机视觉82

    RoboJev:一个开放的视觉语言机器人成功检测模型

    arXiv 发布了一个名为 RoboJev-27B 的开源视觉语言模型,用于判断机器人操作任务是否成功完成。该模型基于 JEV-27B-VL 变体训练,在 SO-101 机器人上达到 95.2% 平衡准确率,并支持跨实验室与未见过机器人的泛化。材料提供了推理代码、20,628 条预测结果及透明评测基准,同时对比了基于 API 的前沿视觉语言模型。

    推荐理由:该预印本公开了用于机器人任务成功检测的视觉语言模型 RoboJev-27B,提供了推理代码与基准评测数据。

  15. arXiv · 机器人与计算机视觉80

    重新思考 AI 训练中的视频存储:打破跨帧依赖以实现高效随机访问

    论文指出现有视频存储范式针对顺序播放优化,导致 AI 训练随机采样时面临解码效率瓶颈。作者提出依赖感知稀疏解码与可选的离线解耦随机访问编码方案,通过重构解码调度与参考结构,将每个请求目标的重建限制在最多三个帧内,独立于 intra 周期。实验显示该方法在保持可比重建质量的同时,加载吞吐量是 LeRobot v3 的 1.45 倍,媒体负载减少 58.7%。

    推荐理由:针对大模型训练中视频随机采样导致的解码瓶颈,提出依赖感知稀疏解码与离线解耦编码方案,在保持画质的同时显著提升加载吞吐量并降低媒体负载。