跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 23 页

10月8日周四第 441–460 条
  1. arXiv · 机器人与计算机视觉82

    RoboJEPA:基于联合嵌入预测架构的多具身机器人潜在世界模型扩展研究

    论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。

    推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。

  2. arXiv · 机器人与计算机视觉84

    行动前先改写:表征与缓解视觉语言动作模型的语意敏感性

    视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。

    推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。

  3. arXiv · 机器人与计算机视觉82

    TouchScale:500 小时人类视觉与触觉交互数据集用于视觉 - 触觉学习

    TouchScale 是一个包含约 500 小时接触丰富的人类交互数据的统一数据集,使用单一穿戴设备同步采集了第一人称 RGB-D 视频、手腕 RGB 视频及双手密集触觉测量数据。

    推荐理由:TouchScale 数据集提供统一穿戴设备采集的 500 小时视觉 - 触觉同步数据,显著提升了零样本触觉预测精度与机器人操作成功率。

  4. arXiv · 机器人与计算机视觉78

    Scalable Patch-Level Self-Supervised Learning:JEM 算法发布

    论文提出了名为 JEM 的学生 - 教师自监督学习算法,该方法基于多视图假设构建信息论目标函数,通过跨视图对齐补丁表示并显式正则化以保留信息和结构。实验表明,JEM 在 300M 至 7B 参数规模下均能稳定训练,且在分割基准测试中超越 DINOv2;特别是在 7B 参数规模下,无需微调阶段且仅使用 DINOv3 1/12 的数据量,其泛optic分割性能即超过 DINOv3。

    推荐理由:提出基于多视图假设的 JEM 算法,在 7B 参数规模下实现稳定训练且无需微调即可超越 DINOv3。

  5. arXiv · 机器人与计算机视觉82

    Hard, Yet Reducible:受控前向迁移用于合成退化策展

    论文提出受控可还原退化差距(cRDG)指标,通过对比合成退化与清洁增强的探针评估有限训练预算下的泛化增益。该方法在语义分割和显著性检测任务中提升了代表性预测器的性能,同时保持清洁图像表现,代码与支持材料将公开。

    推荐理由:提出 cRDG 指标筛选合成退化数据,在语义分割与显著性检测任务中提升模型泛化且不损害清洁图像性能。

  6. arXiv · 机器人与计算机视觉83

    VLM 为何会漏掉小物体以及何时缩放是安全的

    该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。

    推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。

10月7日周三
  1. arXiv · 机器人与计算机视觉82

    大规模预训练数据集无法保证图像分类微调后的鲁棒性

    该研究评估了微调对预训练模型在分布外任务上鲁棒性的影响,发现微调会导致灾难性遗忘和泛化能力丧失。实验表明,基于 LAION-2B 等最大规模数据集预训练的模型在微调小数据集后,其绝对鲁棒性和鲁棒性损失均高于小规模预训练模型。

    推荐理由:研究发现大模型微调后鲁棒性下降,且预训练规模越大损失越严重。

  2. arXiv · 机器人与计算机视觉84

    αTransfer:基于系数转移的高效模型合并方法

    针对大规模模型合并时搜索最优参数系数成本高昂的问题,本文提出αTransfer范式。该方法利用同一家族内不同尺寸模型在合并系数上的性能分布高度一致的特性,在小代理模型上完成搜索后直接将系数迁移至大目标模型。实验表明,该方法在视觉Transformer和大型语言模型上分别实现了6倍和20倍的加速以及70%和85%的显存减少,同时保持了相当的性能水平。

    推荐理由:提出αTransfer方法,在小代理模型上搜索合并系数并直接迁移至大模型,实现视觉与语言模型的推理速度提升及显存大幅降低。

  3. arXiv · 机器人与计算机视觉82

    Selective Transfer of RL Updates for Visual Reasoning:一种基于筛选强化学习更新的视觉推理能力迁移方法

    针对端点合并难以区分预训练差异与后训练获取能力的局限,本文提出Selective-RL方法,隔离强化学习阶段的参数更新并保留其主导矩阵方向以进行跨模型迁移。实验在三个模型家族和五个视觉推理基准上验证,该方法在全量更新插值的15组比较中提升了12组的性能,其中Qwen接收者在MathVision任务上提升8.55个百分点。研究区分了后训练获取内容与可跨模型转移内容,代码已开源。

    推荐理由:提出Selective-RL方法,通过筛选强化学习更新中的主导方向实现跨模型能力迁移,在多项基准测试中优于全量更新插值。

  4. arXiv · 机器人与计算机视觉82

    SMART:基于大规模合成预训练的零样本仿真实物关节物体操作

    针对收集大规模实物关节物体交互演示困难的问题,作者提出 SMART 系统及其核心仿真平台 SMART-Sim。该系统利用代理任务生成与分布式合成技术,构建了包含超过 100 万次演示、覆盖 44 种原子任务类型、5 种机器人配置及 2507 个关节物体的数据集 SMART-Data。

    推荐理由:提出 SMART 系统,通过大规模合成演示实现零样本仿真到现实迁移,提升 VLA 模型在复杂接触任务中的表现。

  5. arXiv · 机器人与计算机视觉78

    PhysLDM:面向高保真可变形仿真的潜空间扩散方法

    PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。

    推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。

  6. arXiv · 机器人与计算机视觉78

    MobileVISTA:面向移动操作任务的生成式数据增强框架

    MobileVISTA 是一个数据生成框架,旨在解决端到端操作策略在机器人部署时因微小姿态偏差导致性能骤降的问题。该框架将采集于标准姿态下的演示数据转化为多样化、姿态扰动后的训练数据,通过联合增强以眼为中心(egocentric)的视觉观测并重新定向动作以补偿基座姿态变化。

    推荐理由:该框架将演示数据转化为多姿态扰动数据,无需额外采集或生成模型即可提升策略对非分布内姿态的鲁棒性。

  7. Hugging Face Daily Papers84

    miniTE:诊断并弥合原生 NVFP4 强化学习的执行差距

    该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。

    推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。

10月6日周二
  1. arXiv · 机器人与计算机视觉82

    Recovering Off-Policy Supervision for Speculative Decoding

    arXiv 论文《Recovering Off-Policy Supervision for Speculative Decoding》由 Jungseob Lee 等人提交,针对推测解码中离策略 token 导致后续槽位监督失效的问题,提出基于回滚的训练框架。

    推荐理由:针对推测解码中离策略监督失效问题,提出基于回滚的训练框架以恢复全量监督。

  2. arXiv · 机器人与计算机视觉82

    通用权重子空间假设:跨任务与架构的共享低维结构发现

    论文通过超过 1200 个模型的谱分析(包括 500 个 Mistral-7B LoRA、500 个 Vision Transformer 和 50 个 LLaMA-8B),首次提供大规模实证证据,证明无论初始化、任务或领域如何,神经网络系统性地收敛到共享的谱子空间。

    推荐理由:大规模实证表明不同架构与任务下的神经网络收敛至共享的低维参数子空间,为模型复用、多任务学习及高效算法设计提供新视角。

  3. arXiv · 机器人与计算机视觉82

    EgoSteer:面向可操控灵巧操作的开源全栈系统

    EgoSteer 是一个面向可操控灵巧操作的开源全栈系统,整合了 EgoSmith 数据管道、统一机器人堆栈及世界模型增强的 VLA。系统在 9,606 小时第一人称视频上预训练,并通过遥操作与 DAgger 微调,在 45 个多样化任务中稳健执行自由指令,并在两个具身平台上对长周期任务达到 79% 平均进度。代码、数据集、模型检查点及评测画廊已公开。

    推荐理由:开源了基于第一人称视频预训练的灵巧手 VLA 系统,提供数据管道与仿真增强策略以支持遥操作微调。

  4. arXiv · 机器人与计算机视觉82

    OnceSelect:一种可复用的多模态指令微调数据选择方法

    针对多模态大语言模型微调中数据冗余问题,提出 OnceSelect 一次性训练的数据选择器。该方法在冻结的多模态空间编码图像 - 指令对并聚类,利用固定验证集标准训练轻量级选择器,可跨数据集与模型架构直接复用而无需重训或依赖特定模型评分。

    推荐理由:提出一次性训练的通用数据选择器,在无需重训情况下跨数据集与模型架构复用,显著降低多模态指令微调成本。

  5. arXiv · 机器人与计算机视觉78

    SCION:无需预训练的像素空间联合生成与自监督表征学习

    论文提出 SCION(Self-conditioned Generation on Self-supervised representation),解决对比学习与流匹配目标不匹配的难题,实现在单模型内完成无标签、无预训练模型的自条件生成。

    推荐理由:提出 SCION 模型,实现无需标签或预训练的单步联合生成与自监督表征学习。

  6. arXiv · 机器人与计算机视觉78

    Level-of-Token Diffusion:基于多分辨率 Token 布局的自适应扩散生成框架

    该论文针对图像和视频扩散模型均匀分配计算资源的低效问题,提出 Level-of-Token (LoT) Diffusion 框架。该方法将场景细节分布知识转化为显式的多分辨率 Token 布局,利用细粒度 Token 处理高细节区域、粗粒度 Token 处理其他区域。

    推荐理由:提出 Level-of-Token Diffusion 框架,通过多分辨率 Token 布局实现自适应生成,在保留预训练先验的同时显著降低计算成本。