CaPtain:一种用于后训练代码策略机器人的流水线
论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。
推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。
内容形态
可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。
356 条精选近 30 天 209 条共收录 1,471 条
论文介绍 CaPtain,这是一个开源的后训练流水线,旨在将小型开放视觉语言模型(VLM)转化为无需依赖大型闭源模型或预训练 VLA 的代码策略机器人代理。该方法首先通过合成轨迹进行监督微调对齐基座模型,随后应用多回合强化学习,并引入读取仿真特权状态的物理评论家来分配信用。
推荐理由:该工作提出 CaPtain 流水线,利用物理评论家解决多回合强化学习的信用分配难题,将小模型在仿真与真实机器人上的成功率提升至超越前沿水平。
RoboParty正式发布全栈开源人形机器人RP1,提供从机械结构、电气系统到底层控制与仿真训练工具的全套资源。RP1拥有24至30个自由度,搭载自研ROMOMO关节模组,公开URDF及网格模型等资源,并开放hhtools动作重定向等开发底座,旨在降低硬件适配门槛,支持开发者深入研究与修改底层技术。
推荐理由:RoboParty发布全栈开源人形机器人RP1,开放从机械图纸到运动算法的底层研发链路。
FTP-1 是首个通用的触觉基础策略,旨在解决现有触觉策略依赖固定本体和传感器的问题。该模型通过异构编码器将图像、阵列及状态信号投影为统一的形态感知潜在 token,并由共享触觉 Transformer 专家联合建模。
推荐理由:FTP-1 是首个跨传感器触觉基础策略,在 26 个数据源预训练后,未见过的传感器也能提升接触丰富操作的成功率。
该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。
推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。
该论文提出 GCSR-OCC 框架,通过证据守恒高斯到占用算子(EC-G2O)抑制尺度膨胀并校准响应,利用多模式查询优先高斯语义路由(MM-QGSR)匹配文本查询以细化 voxel 级预测。
推荐理由:提出 GCSR-OCC 方法,结合几何校准与语义路由解决开放词汇占用预测问题。
论文介绍 SceneEvolve 框架,将三维场景表示为可执行代码并通过演化 harness 来改进重建效果。该框架结合参数化原语与语义空间关系构建动作接口,利用强教师模型迭代优化 harness,同时保持模型参数固定。
推荐理由:该工作提出用代码演化框架提升开源模型在三维重建任务上的表现,并实现了对闭源大模型的超越。
针对扩散视觉语言模型(DVLMs)在每个去噪步骤处理全部输入导致计算冗余的问题,作者提出 LOWN 解码方法。该方法通过比较有无图像时的预测差异来生成证书,仅在预测不一致时才调用图像进行验证,从而决定该步是否处理图像及解掩码的 token 数量。
推荐理由:提出 LOWN 方法,通过证书引导的视觉路由在无需微调的情况下将解码 FLOPs 降低至平均 35.3%。
上海人工智能实验室联合苏州国家实验室等推出“材华·MatVerse”材料多模态大模型及智能体应用体系。该模型采用独立编码器加统一解码器架构,将 XRD 谱图、电镜图像和分子结构等多源异构数据映射至同一语义空间,实现从知识记忆到逻辑推理的能力跃迁。
推荐理由:MatVerse 材料多模态大模型上线,支持 XRD 谱图与分子结构理解及机理推理,并开放评测基准。
该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。
推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。
Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。
推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。
针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。
推荐理由:提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。
论文提出 Patchwork 系统,旨在解决并发运行多个具身仿真环境时因独立构建场景而导致的 CPU 和 GPU 内存占用过高问题。该系统基于 E=T+Δ表示法,将共享模板(包含公共资源)与补丁(记录目标环境的变异)分离,在 robosuite 和 MuJoCo 框架上实现了资源共享运行时。
推荐理由:提出 Patchwork 系统,通过模板与补丁分离机制共享资源,在 robosuite 和 MuJoCo 上实现多实例 CPU 内存占用降低 88-92%。
TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。
推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。
本文提出一种名为 TLP 的新型点云配准方法,利用截断 Lp 函数为对应关系分配优先级分数以选择假设并优化模型。该方法仅需一个可调参数即可处理高离群率场景,并通过 GPU 并行化在数千个对应关系下实现亚秒级配准。公开基准数据集评估显示,TLP 精度优于现有单参数方法,且在三个数据集上超越两种常用多参数方法并保持具有竞争力的运行时间。
推荐理由:提出仅需单参数调优的鲁棒点云配准方法,在公开基准数据集上精度优于现有单参数方法。
该论文提出 BoundedGS 方法,旨在解决高分辨率 3D Gaussian Splatting 训练中显存占用过高的问题。通过分离光栅化与投影的反向传播、限制活跃局部工作集以及优化缓存释放策略,该方法在固定约 600 万高斯数量的条件下,将渲染工作集从 9.97GB 降低至 1.76GB(降幅 82.3%),并将训练时间从 36.7 分钟缩短至 33.9 分钟。
推荐理由:提出 BoundedGS 方法,在固定高斯数量下将渲染工作集从约 10GB 降至 1.76GB,同时缩短训练时间并保留重建质量。
arXiv 发布了一个名为 RoboJev-27B 的开源视觉语言模型,用于判断机器人操作任务是否成功完成。该模型基于 JEV-27B-VL 变体训练,在 SO-101 机器人上达到 95.2% 平衡准确率,并支持跨实验室与未见过机器人的泛化。材料提供了推理代码、20,628 条预测结果及透明评测基准,同时对比了基于 API 的前沿视觉语言模型。
推荐理由:该预印本公开了用于机器人任务成功检测的视觉语言模型 RoboJev-27B,提供了推理代码与基准评测数据。
论文指出现有视频存储范式针对顺序播放优化,导致 AI 训练随机采样时面临解码效率瓶颈。作者提出依赖感知稀疏解码与可选的离线解耦随机访问编码方案,通过重构解码调度与参考结构,将每个请求目标的重建限制在最多三个帧内,独立于 intra 周期。实验显示该方法在保持可比重建质量的同时,加载吞吐量是 LeRobot v3 的 1.45 倍,媒体负载减少 58.7%。
推荐理由:针对大模型训练中视频随机采样导致的解码瓶颈,提出依赖感知稀疏解码与离线解耦编码方案,在保持画质的同时显著提升加载吞吐量并降低媒体负载。
讯飞发布Spark-X2.6系列大模型,该模型基于全栈自主可控的国产算力平台构建,支持端侧与云端按需协同。实测显示,4B版本在仅靠CPU离线运行时,能独立完成跨文件数据核对、风险识别及代码生成任务(如搭建3D故宫网页),完成度约九成;云端版本则通过评语模型路由机制,将敏感信息脱敏后处理复杂合同审查,准确率提升至96.1%。
推荐理由:实测讯飞Spark-X2.6全栈国产算力模型,验证其在纯CPU离线环境下的跨文件分析与代码生成能力。
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源了EdgeRock-4B模型,该模型基于Qwen3.5-4B改造,采用记忆岩锚(RMA)机制将每条序列的KV Cache固定在72 MiB,不随上下文长度增长。
推荐理由:岩山科技联合港科大与CMU开源EdgeRock-4B,通过固定内存机制实现长推理显存不涨且吞吐提升6倍。
Nilotpal Kakati 提出掩码潜在预测方法(如 I-JEPA)的信息保留机制尚不明确,为此构建了已知所有图像因子的模拟器以测量训练后各因子的可读性。实验显示,在相同视图对下,I-JEPA 使用半宽度的预测器时因子可读性中位数仅为 SimCLR 的约 40%,而将预测器宽度扩展至与编码器一致则逆转了这一排序。作者开源了该模拟器及训练好的模型。
推荐理由:作者构建了可测量因子可读性的模拟器,发现掩码潜在预测中预测器宽度对信息保留起关键作用。