跳到正文

技术方向

数据与合成数据 最新动态

真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。

482 条精选近 30 天 361 条共收录 3,060 条

更新

精选归档 · 第 20 页

10月16日周五第 381–400 条
  1. arXiv · 机器人与计算机视觉78

    P2TPO:面向全页文档解析的结构对齐页面到 Token 信用分配方法

    针对全页文档解析中需保留异构元素内容与结构但易出现局部误差的问题,本文提出 Page-to-Token Policy Optimization (P2TPO) 框架。该方法通过参考元素对齐、统一锚点定价和跨度信用重分布等机制,在固定权重加性页面效用下保留局部质量差异。实验显示,P2TPO 在六个文档解析基准测试的种子平均分数上优于所有评估的策略优化基线,并在不同模型规模和初始化条件下均表现增益。

    推荐理由:提出 P2TPO 框架,通过结构对齐的信用分配解决全页文档解析中的局部误差问题,在六个基准测试上优于所有策略优化基线。

  2. arXiv · 机器人与计算机视觉78

    Mallea:基于代码智能体的世界构建、引导与记忆系统

    arXiv 论文介绍 Mallea 系统,该系统利用编码智能体从文本提示中推断物体交互需求,联合规划物体结构、属性及规则以支持紧凑表示。系统通过生成式渲染器结合当前结构与记忆的纹理外观来推进世界状态,并允许用户动作引导演化或编辑属性而不影响现有状态。材料为预印本版本,未报告真实机器人部署结果。

    推荐理由:原文提出 Mallea 系统,通过编码智能体构建可编辑的文本驱动世界模型,支持对象交互规划与纹理记忆。

  3. arXiv · 机器人与计算机视觉82

    SIEVE:克服等变自监督学习中拓扑障碍的框架

    论文指出标准掩码策略会导致 3D 点云 SE(3)等变网络发生拓扑坍缩,迫使模型在无参考系下幻觉方向。为此提出 SIEVE(Scalar Invariant Extraction Via Equivariance)框架,利用球面投影掩码在保留全局姿态的同时模糊局部语义,从而规避该障碍。

    推荐理由:该文提出 SIEVE 框架解决 SE(3)等变网络在点云掩码自监督学习中的拓扑障碍,实验显示其优于坐标基线与手工描述符。

  4. arXiv · 机器人与计算机视觉85

    MSP:一种无需成对跨模态数据的多模态大模型训练方法

    该论文提出了 Modality Self-Play (MSP) 框架,旨在解决对齐多模态数据集昂贵且难以扩展的问题。该方法利用代理文本描述作为未见模态的语义桥梁,使模型在仅观测到真实锚点模态(如图像或音频)及伴随的代理描述的情况下,无需真实的成对非文本监督即可实现零样本跨模态组合与推理。

    推荐理由:提出无需成对跨模态数据的训练框架,利用代理文本作为语义桥梁实现零样本多模态组合。

  5. arXiv · 机器人与计算机视觉78

    SHRED:无需专家演示的异质道路用户自博弈框架

    该论文提出了 SHRED 框架,通过大规模异质性自博弈联合训练车辆、行人和骑行者,无需依赖人类驾驶演示或轨迹回放。实验显示,该方法在 Waymo Open Sim Agents Challenge 中优于无演示基线及参考策略方法,且在 nuPlan 地图几何零样本评估下保持真实感;在交互密集的 InterPlan 基准上规划性能全面领先。消融研究表明自博弈中的异质性显著提升了交通真实性和规划效果。

    推荐理由:提出无需专家演示的异质交通参与者自博弈框架,在仿真挑战中优于基线并提升规划性能。

  6. arXiv · 机器人与计算机视觉82

    SoftCache:面向扩散 Transformer 的自适应步长缓存技术

    arXiv 论文提出 SoftCache 方法,针对扩散和流模型生成成本高痛点,利用网络输入探测信号的头余量(headroom)预测复用误差,实现软性缓存而非硬性开关。该方法无需训练且无额外配置,在 FLUX、HunyuanVideo 及 Wan2.1 等模型上,于图像和视频任务中均取得优于所有基线的表现,加速比达 3.5 至 6.9 倍,且在四项保真度指标上领先。

    推荐理由:提出无需训练的 SoftCache 方法,利用激活头余量自适应调整扩散采样步长,在 FLUX、HunyuanVideo 等模型上实现 3.5-6.9 倍加速。

  7. arXiv · 机器人与计算机视觉83

    CoDA:数据引擎与动作策略的协同进化框架

    论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。

    推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。

  8. arXiv · 机器人与计算机视觉78

    Flow-CLIP:基于图像条件化残差评分的组合式图文匹配方法

    针对句子级图文对齐在组合式匹配中不足的局限,论文提出 Flow-CLIP 模型。该方法通过图像条件化的 token-patch 证据变化细化全局图文对齐,引入全局兼容性校准(GCC)学习句子级相似度指标,利用图像条件化证据细化(ICER)将视觉 patch 上下文融入 token 查询以调整局部匹配证据,并采用跨图像边距排序(CIMR)增强正确描述与错误描述的区分度。

    推荐理由:提出 Flow-CLIP,通过图像条件化残差评分优化组合式图文匹配与属性绑定。

  9. arXiv · 机器人与计算机视觉78

    Digital Typhoon Dataset V3:面向多光谱扩展与强度回归系统性偏差分析的基准

    本文发布了 Digital Typhoon Dataset V3,这是跨度近 50 年的最长台风卫星图像数据集的新版本,新增多光谱数据以支持多通道模型。研究评测了数据划分策略及南北半球基准结果,发现当前设置下多通道输入并未显著优于单通道输入用于气压回归;ResNet-18、全分辨率图像和 Channel 1 在单通道任务中表现最佳。

    推荐理由:本文发布台风数据集 V3 并评测多光谱输入对气压回归的增益有限,同时揭示强台风强度低估的系统性偏差及现有加权策略的不足。

  10. arXiv · 机器人与计算机视觉78

    Vision Transformers 中的虚假注意力头:医学胸部 X 光分析中标注驱动偏差的机制识别

    论文应用机制可解释性方法,在 ViT-Base 16 模型中定位到一个专门读取注释文本而非肺病理的单一注意力头(L8H10)。因果验证证实该行为由标注内容驱动,移除后肺部注意力增加。该现象在 NIH ChestX-ray14、DeiT-Base 和 ViT-Large 16 三个架构上复现。全量微调无法抑制该偏差甚至可能强化它,且单头消融显示输出级评估完全无法察觉此因果电路。

    推荐理由:通过机制可解释性发现 ViT 模型在医疗影像中利用注释文本而非病灶进行推理的虚假注意力头,且该偏差无法通过微调消除。

  11. arXiv · 机器人与计算机视觉78

    何时应生成低光照处理管线?一种基于可审计风险控制的选择性生成增强方法

    论文提出 VetoNet,将选择性生成增强建模为决策问题,通过测量冻结基础专家对的互补优势并仅凭部署可用信号预测区域覆盖效用。框架引入分布无关的有害预算证书,仅在感知(LPIPS)风险预算允许时才批准切换,否则保守地否决。实验表明该方法能根据证据强度与可靠性自适应路由行为,在专家互补性可预测时获得统计显著的提升,并在证据弱或跨域偏移时拒绝切换。

    推荐理由:提出 VetoNet 框架,利用分布无关的风险预算证书实现低光照增强中的可审计区域路由与有害切换控制。

  12. arXiv · 机器人与计算机视觉78

    ZoomCap:基于证据路由的视觉缩放以实现可恢复的视觉信息转移

    论文提出 ZoomCap 框架,将细粒度描述定义为在有限观测预算下获取缺失证据并转化为可复用监督的过程。该方法利用草稿描述路由条件知识检索、OCR 敏感阅读及自适应视觉缩放,仅对最复杂区域分配深层裁剪,并从几何关系推导空间信息。

    推荐理由:提出 ZoomCap 框架与 FactCycle 评估器,以有限观测预算实现细粒度描述生成与证据路由,在持续预训练中显著优于强基线。

  13. arXiv · 机器人与计算机视觉78

    RoboCloth:一种用于神经反射率重建的大规模真实布料材料数据集

    论文介绍了 RoboCloth 数据集,包含 500 种在机器人控制的柔性相机和光照配置下采集的真实布料材料。每个材料拍摄约 580 帧高动态范围图像,覆盖宽视角与光半球,并通过运动恢复结构优化相机位姿以对齐机器人坐标系,提供稀疏表面几何和结构化反射率观测。

    推荐理由:该数据集包含由机器人控制的柔性相机与光照采集的 500 种真实布料,支持神经反射率重建训练。

  14. arXiv · 机器人与计算机视觉78

    EigDiff:通过特征样本扩散显著降低扩散模型训练数据集规模

    论文提出 EigDiff 方法,旨在解决扩散模型训练成本高且依赖大规模数据集的问题。该方法利用预训练 CLIP 模型的潜空间进行主成分分析(PCA),计算特征向量作为参考点,进而筛选出包含特征样本和多样化图像的具有代表性的子集用于训练。实验表明,EigDiff 可将训练数据量减少最多 14 倍,同时选择代表性子集的速度提升 1607 倍,且模型性能仅有微小差异。

    推荐理由:提出利用预训练 CLIP 潜空间的主成分分析筛选代表性子集,可将扩散模型训练数据量减少至原来的 14 分之一。

  15. arXiv · 机器人与计算机视觉78

    Pixels to Tokens:面向低预算语义分割的 Token 空间高效主动学习

    论文提出了 TEAL(Token-space Efficient Active Learning),这是首个基于 ViT 表示构建的像素级主动学习框架。该方法冻结 ViT 主干网络,直接在原生 token 晶格上进行基于多样性的选择,避免插值带来的伪影,并通过解码器网格上的边缘不确定性进行细化。

    推荐理由:TEAL 框架在极低标注预算下实现语义分割,将 ViT token 空间选择与解码器网格不确定性结合,显著优于现有基线。

  16. Hugging Face Daily Papers82

    3DCodeVerse:构建可执行 3D 代码的研究生态系统

    论文介绍了 3DCodeVerse 研究生态,包含大规模可执行 3D 代码数据集 3DCodeVerse-2M、用于空间推理与自动验证的多智能体框架 Harness 以及实践指南。

    推荐理由:该工作构建了可执行的 3D 代码数据集与多智能体验证框架,显著提升了开源模型的 3D 编码能力。

  17. Hugging Face Daily Papers76

    Athanor:首个让智能体自主进行后训练的开放系统

    论文介绍 Athanor,这是一个在真实 GPU 上运行的开放智能体原生系统,旨在支持智能体的自主后训练研究(AutoPostTrain)。该系统赋予智能体完全的研究自主权,提供低摩擦工程工具、冻结评估服务、托管作业、去污染数据及持久化记录,且禁止使用外部教师模型。

    推荐理由:Athanor 系统在沙箱环境中让 Claude Opus 5.5 智能体自主完成基座模型的后训练,首次演示了前沿智能体重组已知方法即可达到官方指令微调版本的效果。

  18. 智东西 · 机器人82

    斯坦福和哥伦比亚大学发布机器人灵巧操作框架DexAgent

    斯坦福大学和哥伦比亚大学联合发布了基于自进化工具库的机器人灵巧操作框架DexAgent,由李飞飞、吴佳俊等参与研究。该框架能将单条人类第一视角视频转化为多样化的机器人训练数据,在仿真环境中重建物体物理交互并生成复合物理约束的运动轨迹。

    推荐理由:斯坦福与哥伦比亚大学联合发布DexAgent框架,利用AI Agent将人类视频转化为符合物理规律的训练数据,在11项真实任务中平均成功率达63.6%,是基线模型的3.5倍。