跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 24 页

10月6日周二第 461–480 条
  1. arXiv · 机器人与计算机视觉82

    可控道路标线生成:基于文本引导的 BEV 管线与结构化高斯渲染

    该论文提出 Controllable Road Marking Generation 框架,能从可行驶区域掩码、外环标线和文本描述中合成缺失的中心区域标线布局。

    推荐理由:该工作提出可控道路标线生成框架,在 Argoverse~2 和 Waymo 数据集上显著优于基线,为仿真场景构建与地图补全提供新工具。

  2. arXiv · 机器人与计算机视觉82

    Salvation Lies Within:通过语言引导激发步蒸馏扩散模型固有风格迁移

    针对步蒸馏文本到图像(T2I)模型后训练带来的计算成本与原生少步生成行为受损问题,提出 StyleForge 全自动免训练框架。该框架将参考图像的视觉证据组织为渲染指令规范,编译成可复用的文本引导,使冻结的步蒸馏 T2I 模型能在不同内容提示下保持参考风格并保留少步生成特性。实验显示其生成质量分数较最强基线最高提升 29.47%,且 Pareto 分析表明风格化增强同时保持了良好的内容遵循度。

    推荐理由:提出 StyleForge 框架,通过语言引导激发步蒸馏扩散模型的固有风格迁移能力,无需额外训练即可在保留少步生成特性的同时提升风格化质量。

  3. Hugging Face Daily Papers78

    自我反思蒸馏:将事后经验转化为事前预见

    针对强化学习中组间相对目标奖励信号消失的问题,本文提出了前瞻性学习方法 Self-Retrospection Distillation(SRD)。该方法利用已完成轨迹中的后验知识监督交互前的前瞻预测,将其作为训练目标而非推理时的显式生成。

    推荐理由:该工作提出利用事后经验蒸馏前瞻预测,在奖励信号稀缺的长程任务中显著提升强化学习性能。

10月5日周一
  1. arXiv · 机器人与计算机视觉78

    有效深度悖论:深层卷积神经网络中的拓扑结构与可训练性研究

    该论文对 VGG、ResNet 和 GoogLeNet 三大架构族在 CIFAR-10 数据集上的分类性能进行了受控对比研究。作者形式化了名义深度与有效深度的区别,发现 VGG 风格堆叠随有效深度增加而早期饱和,而 ResNet 和 GoogLeNet 则通过保持较低的有效深度继续受益。

    推荐理由:该文通过对比 VGG、ResNet 和 GoogLeNet 在 CIFAR-10 上的表现,提出有效深度悖论,指出拓扑结构而非单纯层数决定深层 CNN 的可训练性。

  2. arXiv · 机器人与计算机视觉83

    Contextual Flow Matching:面向高效视觉生成的流模型自适应步长选择

    论文提出 COFLOW 方法,在推理阶段根据提示词特征自适应选择生成步数,平衡效率与质量。该方法无需重训底层生成模型,支持图像和视频生成,实现超过 2.5 倍加速且保持感知和语义质量。研究提供了理论分析,证明在标准正则性条件下前向欧拉离散化误差界为 O(1/K)。材料来源于 arXiv 预印本,已获 NeurIPS 2026 接收。

    推荐理由:提出 COFLOW 方法,通过提示词自适应选择生成步数实现推理加速,无需重训底层模型。

  3. arXiv · 机器人与计算机视觉78

    视频 MLLM 后训练中的行为包优化方法

    针对现有视频多模态大模型过度依赖外观和语言先验、忽视时序证据的问题,提出行为包优化(BPO)方法。该方法用反事实视图的行为包替代单一响应进行联合评分,要求模型在无关干预下保持稳定、关键证据缺失时敏感且无证据时放弃回答。

    推荐理由:提出行为包优化方法,通过反事实视图联合评分提升视频多模态大模型的时序证据推理能力。

  4. Hugging Face Daily Papers82

    CLIFT:面向 Web Agent 训练与测试时扩展的共形自验证

    论文介绍 CLIFT 方法,通过共形自验证解决强化学习中奖励稀疏及外部裁判成本高的问题。训练中利用 URL 条件证据一致性筛选信号并赋予信任权重,将自证分数融入每步奖励;测试时将认证库冻结用于共形轨迹选择,在无需调用外部裁判的情况下实现保守的多数投票决策。

    推荐理由:CLIFT 提出基于共形自验证的训练与测试时扩展方法,利用低成本自证信号替代昂贵的外部裁判,在 WebArena 等基准上实现开源模型的最优性能。

10月1日周四
  1. Hugging Face Daily Papers83

    Where-OPD:基于合成场景的空间引导多模态大模型自蒸馏方法

    论文介绍了一种针对多模态大语言模型的自蒸馏新方法 Where-OPD,利用程序化生成的合成场景提供自动获取的物体身份与空间坐标作为教师的文本空间引导。该方法使教师能定位并整合多个相关图像区域的证据,学生则仅凭图像和问题学习复现该行为。

    推荐理由:提出利用程序化生成场景的文本空间引导进行自蒸馏,在纯合成数据上实现了对真实世界感知基准的有效迁移。

9月30日周三
  1. Hugging Face Daily Papers83

    ReGain:在合成图像个性化中恢复主体保真度

    该论文指出用扩散模型生成的合成图像对 DreamBooth 进行微调会因分类器自由引导(CFG)导致高频细节过度饱和并降低主体保真度。作者提出 ReGain,一种无需真实照片的采样时修正方法,通过测量各频率带相对于基模型的引导膨胀程度并进行缩放来恢复保真度。

    推荐理由:针对合成图像微调导致主体保真度下降的问题,提出无需真实照片的采样时修正方法 ReGain。

9月23日周三
9月1日周二
  1. World Labs · Research & Insights86

    World Labs 发布下一代世界模型 Atlas:原生支持 3D 空间智能与相机控制生成

    World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。

    推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。

8月25日周二
  1. Figure · News75

    Figure 发布 Index:全球最大的多样化物理数据集

    Figure 正式推出 Index,这是全球最大的多样化机器人训练数据集,数据源自全球超过 108 个国家的创作者上传的真实任务视频。该数据集包含 373 个独特任务、1,146 个被操作物体和 116 种环境,涵盖从家务到工业场景的长尾分布。Figure 计划在未来 12 个月投入超过 10 亿美元用于数据与计算,以支持其 Helix AI 栈的训练与泛化能力。

    推荐理由:Figure 正式发布 Index 数据集,通过全球创作者网络收集了海量真实物理交互视频,旨在解决机器人泛化难题并支撑 Helix 栈训练。

7月29日周三
  1. Berkeley BAIR Blog78

    K-Search 扩展至 Apple Silicon:从 CUDA 到 MLX 的架构原生优化策略

    IBM Research 基于 Berkeley Sky Lab 的 K-Search 框架,构建了针对 Apple Silicon 的 MLX 后端及结构化翻译层,将 NVIDIA 数十年的内核优化知识迁移至 Apple GPU。

    推荐理由:IBM Research 扩展 K-Search 框架至 Apple Silicon,通过结构化翻译层将 CUDA 优化知识迁移至 MLX,实现接近专家级的性能。

7月26日周日
  1. Berkeley BAIR Blog65

    ABBEL:学习自然语言信念状态以实现内存高效的长程交互

    针对大语言模型在长程交互中因上下文过长导致性能下降的问题,文章提出 ABBEL 框架,将递归摘要任务转化为对自然语言“信念状态”的监督更新。通过引入基于重构的“信念分级”机制,该框架在 CollabBench 协作编程和 Combination Lock 游戏中显著缩小了与全量上下文模型的差距,同时大幅降低峰值 Token 消耗并减少训练步数。

    推荐理由:提出 ABBEL 框架,通过监督自然语言信念状态更新解决长程交互中的上下文压缩性能损耗问题。

7月21日周二
  1. The Decoder · Robotics78

    Xiaomi-Robotics-1 模型发布:更多数据胜过更大模型

    Xiaomi-Robotics-1 是一款旨在适应陌生环境和快速学习新任务的具身智能基础模型。该团队利用手持机械臂采集了超过 10 万小时的运动数据,并通过 AI 自动标注完成预训练。

    推荐理由:小米展示新模型证明在机器人运动训练中,增加数据量比扩大模型规模更能提升泛化性能。

7月17日周五
  1. 文远知行 · Newsroom80

    文远知行发布物理 AI 认知基础模型 WeRide WITT

    文远知行正式发布物理 AI 认知基础模型 WeRide WITT(World Intelligence Toward Truth),该模型基于原子物理事实(APFs)框架,通过提取、推理、验证和整理可信事实来构建对物理世界的理解。

    推荐理由:文远知行发布基于原子物理事实的认知基础模型 WITT,通过提取、推理与验证可信事实来降低幻觉并提升长尾场景挖掘效率。

6月4日周四
  1. Generalist · Research Blog70

    Frontier Lab 获新一轮融资以加速物理 AI 发展

    Frontier Lab 宣布获得包括 Radical Ventures(领投)、8VC、Union Square Ventures 等在内的新一轮融资,总融资金额超过 5 亿美元。公司计划利用这笔资金继续推进机器人学习规模化,开发下一代模型并扩展物理数据引擎与计算基础设施。此前 GEN-1 模型已在灵巧操作任务中展现出高可靠性与执行速度提升,新资金将支持其构建跨形态、环境与应用的通用智能系统。

    推荐理由:Frontier Lab 宣布获得包括 Radical Ventures、NVIDIA 等在内的新一轮融资,将用于加速机器人基础模型与物理 AGI 的研发及基础设施扩展。

6月1日周一
  1. NVIDIA Blog · Physical AI82

    NVIDIA 发布 Cosmos 3 世界基础模型以辅助物理 AI 在行动前进行思考

    NVIDIA 在 GTC Taipei 和 COMPUTEX 上发布了开源世界基础模型 Cosmos 3,该模型整合视觉推理、多模态生成及动作预测能力,旨在帮助机器人、自动驾驶车辆等物理 AI 系统理解场景因果并预测未来状态。

    推荐理由:NVIDIA Cosmos 3 作为开源世界基础模型,整合视觉推理与多模态生成能力,支持机器人及自动驾驶场景的因果预测与动作规划。

1月29日周四
  1. Generalist · Research Blog72

    Generalist 博客:机器人的暗物质——物理常识

    文章将“物理常识”定义为机器人在真实世界中应对不确定性、摩擦与滑移的直觉反应能力,指出当前基于互联网文本训练的模型缺乏闭环交互因而无法获得此能力。作者分享了团队通过开发轻量级手持设备采集自然操作数据(如编织、削土豆)的实验,发现此类数据能诱导模型涌现出类似人类的恢复与微调行为。文章认为物理常识是机器人基础模型的底层结构,将推动机器人从结构化环境走向开放世界,是实现通用智能的关键转折点。

    推荐理由:作者提出物理常识是机器人泛化的关键,并分享了通过手持设备采集自然交互数据以诱导模型涌现能力的实验思路。

1月12日周一
  1. Skild AI · Research Blog62

    Skild AI 推出基于观看人类视频的 Omni-bodied Learning 模型

    Skild AI 发布 Omni-bodied Learning 能力,旨在解决具身智能领域的数据瓶颈问题。该方案利用 abundant 的人类视频数据(如 YouTube 教程),通过模型桥接“具身差距”,仅需少量机器人实测数据(<1 小时)即可从视频中学习新技能并微调模型,无需大规模遥操作数据。

    推荐理由:Skild AI 提出通过观看人类视频进行学习的 Omni-bodied Learning 方案,仅需少量机器人数据即可微调出新技能。