跳到正文
11月4日周三
  1. Hugging Face Daily Papers78

    ToolSpace:面向长程智能体的工具中心化环境合成扩展方法

    论文提出了 ToolSpace 框架,旨在解决现有 MCP 环境合成方法数据为中心、导致工具接口不匹配及任务跨度不足的问题。该方法从真实 MCP 服务和开放智能体语料库的执行轨迹中,利用确定性规则挖掘数据、状态和重试依赖,而非依赖大模型判断。

    推荐理由:该工作提出以工具为中心的合成框架,通过挖掘真实执行轨迹构建环境图,显著提升了长程任务中多模态模型的评测难度与得分。

  2. arXiv · 机器人与计算机视觉72

    GSCV++:基于标准视频编解码器的轻量级 3D 高斯泼溅序列压缩方法

    论文提出 GSCV++ 流水线,通过能量自适应球谐系数降维、基于先验的插值映射及内容感知通用压缩配置,实现低复杂度与硬件兼容。实验显示其相比最先进方法在帧内和帧间预测率失真增益分别超过 20% 和 60%,且编码解码速度更快。材料为预印本,未涉及真实机器人部署或仿真结果。

  3. arXiv · 机器人与计算机视觉78

    PyRUA-DataFarm:LLM Agent 作为高效遥操作代理以生成真实可用机器人数据

    PyRUA-DataFarm 利用 LLM Agent 接收任务请求与一次校准数据,在仿真中自动重建场景、专家控制器及成功判定器,并通过视频模型渲染多视角合成视频。

    推荐理由:提出用 LLM Agent 自动构建仿真环境与视频渲染,生成低成本且真实可用的机器人训练数据。

  4. arXiv · 机器人与计算机视觉82

    Route Anything:通用 AI 系统中的模型与策略路由研究

    论文提出 Route Anything 统一框架,通过构建涵盖语言、视觉、视频、语音及机器人操作的跨模态基准矩阵(含 37.4 万次运行数据),研究了在质量与成本权衡下的最优路由机制。实验显示,基于输入的 oracle 路由比最佳固定候选者提升 5.4 分,学习到的路由器进一步提升性能并减少 24% 的策略时间,平均效率提升 8.82 倍。

    推荐理由:构建了跨模态任务路由框架,证明动态策略选择比固定候选者更优且能显著降低计算成本。

  5. arXiv · 机器人与计算机视觉72

    SimuScene:基于单张图像的物理就绪组合式 3D 场景重建方法

    该研究提出 SimuScene,一种将物理引擎纳入形状与布局估计生成过程的组合式 3D 重建管线。不同于仅用于后处理修正,该方法利用物理引擎在生成过程中作为诊断测量工具,通过重力模拟将穿透和支撑失败转化为定量修正信号以驱动模态形状重采样及轻量级几何拉伸修正,从而缓解累积误差并产出稳定的物理就绪场景。

  6. arXiv · 机器人与计算机视觉35

    OphEdit:免训练文本引导的眼科手术视频编辑框架

    OphEdit 是首个无需训练的文本引导眼科手术视频编辑框架,利用确定性二阶 ODE 反演管道在去噪阶段注入注意力张量以保留眼部解剖几何。临床评估显示,相比适配的通用领域视频编辑器,该框架在处理器械替换和程序变异时具备更优的结构保真度与时间一致性。代码与提示词可通过指定链接获取。

  7. arXiv · 机器人与计算机视觉65

    IMPOSE:一种保持身份一致的无接触指纹多姿态生成方法

    针对无接触指纹识别中因手指自由姿态导致的几何失真问题,该研究提出 IMPOSE 框架,利用潜在扩散模型生成卷曲指纹身份,并通过 Sauvola 局部自适应二值化引导跨模态翻译,结合三维手指模型纹理映射与投影实现物理驱动的多姿态模拟。

  8. arXiv · 机器人与计算机视觉74

    DexCanvas:弥合人类演示与机器人学习以支持灵巧操作的数据集发布

    论文介绍了 DexCanvas,这是一个混合真实 - 合成数据集,包含 7000 小时的手物交互记录及每帧接触点与力信息,数据源自 70 小时光学动捕并通过 RL 策略在仿真中复现。实验显示该数据集使 Diffusion Policy 成功率从 67.5% 提升至 82.2%,并在未见物体上保持 72.5% 的成功率。111,857 条力标注轨迹已在 Hugging Face 公开。

  9. arXiv · 机器人与计算机视觉18

    Label-Preserving Fourier Domain Adaptation 方法利用生成式 AI 与真实风格供体提升三维二尖瓣分割精度

    针对三维经食管超声心动图标注数据稀缺问题,研究提出保留标签的傅里叶域适应方法,利用 Chat-GPT、Google Gemini 和 Microsoft MAI 生成的无标注图像作为风格供体。实验基于 DeepMitral 模型在 MVSeg2023 数据集上验证,仅 MAI-FDA 相比真实数据基线显著提升广义 Dice 分数,证实生成式 AI 虽能提供风格多样性但非必然优于真实图像训练。

  10. arXiv · 机器人与计算机视觉45

    DUNEDepth:通过混合适配 3D 视觉基础模型实现支气管镜深度与姿态估计

    DUNEDepth 提出一种混合架构,结合共享 DUNE ViT 编码器、双 MASt3R 交叉注意力解码器及融合 MASt3R 与 Reloc3r 的预测头,利用合成监督与自监督策略微调。实验表明,该方法在支气管镜视频序列上比先前提出的自监督方法更准确地推导深度信息与相机运动轨迹。该研究已接受 MICAD 2026 会议收录,共 10 页、4 幅图及 3 张表。

  11. arXiv · 机器人与计算机视觉78

    Diffusion Plug-in Priors for Self-Supervised Ultrasound Video Restoration

    针对受限于硬件分辨率和信号相关斑点的超声视频,作者提出 UltraDiff 方法,利用冻结预训练扩散模型作为插件先验,在无需配对数据或网络重训练的情况下实现超分与去噪。

    推荐理由:提出无需配对数据或重训练的超声视频复原方法,结合斑点感知保真度与冻结扩散先验提升下游测量精度。

  12. arXiv · 机器人与计算机视觉78

    从自然图像到医学影像:扩散模型的迁移性研究

    该预印本论文分析了将自然图像先验迁移至医学影像扩散去噪器的效果。研究发现,在像素空间和潜在空间下,自然图像初始化均能显著提升生成质量(相对 gFID 提升 21-34%),且这种增益与下游病理分类和放射组学特征提取能力正相关。研究进一步揭示,迁移收益主要源于空间结构的共享而非语义信息,混合域训练表明自然与医学图像在深层网络表示上具有相似性。代码已开源。

    推荐理由:研究证实自然图像初始化可提升医学扩散模型生成质量,并揭示空间结构是迁移生效的关键通道。

  13. arXiv · 机器人与计算机视觉72

    通过虚拟试穿从人类视频中合成灵巧机器人演示

    论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。

  14. arXiv · 机器人与计算机视觉51

    ReXMo:支持多场景的视频角色替换与表情动作保持框架

    该预印本论文提出了 ReXMo 端到端框架,旨在在替换视频中演员身份的同时保留面部表情、肢体动作及场景动态。方法引入配对三元组监督机制,利用合成数据生成实现可扩展训练;通过上下文扩散 Transformer 联合驱动视频、参考身份与文本提示学习身份变换,并借助表情增强适配器提升多人场景的表情保持效果。实验显示其在身份保真度、动作一致性等方面优于现有方法,数据集与代码将公开。

  15. arXiv · 机器人与计算机视觉38

    Predicting Void Points in Self-Occluding Forest Volumes 论文提出改进训练标签以区分重建伪影与真实植被,在 Gazebo 生成的森林场景上验证了架构效果

    针对合成孔径成像中遮挡导致区域误判为占用及生物量高估问题,该研究通过引入深度切片作为负类标签修改训练数据。实验显示,2D U-Net 在无膨胀校准下取得 0.6514 的 IoU,优于 COLMAP(0.3446)和 DepthAnything3(0.2959)。结果揭示了传统重建方法在封闭树冠内推断占用状态的局限性。

  16. arXiv · 机器人与计算机视觉73

    Learning to Falsify:面向高分辨率的层级多实例学习与伪造驱动检测

    针对生成模型合成图像日益逼真导致的高分辨率检测难题,本文提出 Learning to Falsify (LTF) 框架与 FATAS 测试时聚合策略。LTF 将图像视为不同空间层级的实例集合,基于单块伪造即可判定整图伪造的原则建模;引入 Cross-Shuffle 训练技巧以强化局部伪影特征学习。

  17. arXiv · 机器人与计算机视觉68

    DynOSeg:通过运动 - 几何融合实现动态目标分割

    该论文提出了 DynOSeg 方法,采用两阶段融合结构结合几何感知残差图、深度编码与语义特征以解决纯视觉线索的歧义问题。作者构建了包含 CARLA-MOS 在内的多样化训练语料库,实验表明该方法在多个数据集上优于现有最先进方案。代码和预训练模型已开源,论文已被 WACV 2027 接收。

  18. arXiv · 机器人与计算机视觉58

    SWAP-INR:一种用于时变多变理科学数据压缩的隐式神经表示方法

    针对高性能计算环境中多变量科学仿真数据存储瓶颈问题,本文提出 SWAP-INR 架构以实现高保真压缩。该方法引入可切换注意力路径(SWAP)模块以显式建模跨变量交互并剪枝冗余层,同时利用自适应放大 SIREN(A2-SIREN)替代刚性频率缩放以适应异构物理特征。

  19. arXiv · 机器人与计算机视觉78

    IGSW:基于内在解耦高斯泼溅的多天气城市场景重建

    论文提出了 IGSW 框架,旨在实现高保真的 4D 城市场景多天气编辑以支持端到端自动驾驶训练。该方法将背景高斯外观分解为共享反照率与法线及特定辐照度残差,并利用扩散模型生成的教师图像和内在映射提供软监督;第二阶段通过结构保持门控抑制不可靠区域并增强目标天气外观。

    推荐理由:提出 IGSW 框架,通过解耦高斯场景建模与结构保持的天气细化,解决了多天气编辑中的结构失真问题。

  20. arXiv · 机器人与计算机视觉83

    ReSMap:一种利用卫星先验增强鲁棒性的在线 HD 地图构建框架

    针对基于相机的在线 HD 地图系统易受传感器故障影响的问题,本文提出 ReSMap 框架,将离线缓存的卫星图像作为相机失效时的冗余互补源。该框架通过预测 - 融合模块和以物体为中心的跨模态查询解码器,利用各分支的置信度进行像素级可靠性加权并合并更新,无需学习路由网络。模型在 nuScenes 数据集的所有划分及范围设置下均达到最先进性能,特别是在相机故障场景下显著提升了鲁棒性。

    推荐理由:提出利用卫星图像作为相机失效时的冗余备份,在 nuScenes 数据集上实现包括相机故障场景在内的最先进性能。

  21. arXiv · 机器人与计算机视觉48

    扩散模型数据增强方法提升少样本图像分类性能

    针对长尾单样本等极端数据稀缺场景,该方法通过掩码引导参考注意力与排斥噪声优化组件,在 CUB-LT 数据集 IF100 指标上最高提升 2.50 和 2.94 分。实验验证了其在少样本及背景偏移评估中的鲁棒性,有效解决了生成样本缺乏判别细节的问题。该研究已被 WACV2027 接收,代码与论文将公开。

  22. arXiv · 机器人与计算机视觉82

    ReconDreamer#:面向动态驾驶场景的重建与生成的自进化闭环协同方法

    针对动态驾驶场景中生成数据与现实观测差距大的问题,论文提出 ReconDreamer# 框架,实现重建与生成的自进化闭环协同及基于几何先验的自适应地面建模。在 Waymo、nuScenes 等基准测试中,该方法显著提升了三维表征能力:Waymo 数据集上横向偏移 6 米时,NTA-IoU 和 NTL-IoU 分别提升 8.8% 和 3.0%,FID 降低 15.1%。

    推荐理由:提出自进化闭环框架,通过生成与重建模型互促提升动态驾驶场景的三维表征能力。

  23. arXiv · 机器人与计算机视觉62

    FOX:基于嵌入空间解释的可泛化 AI 生成图像检测方法

    论文提出 FOX 框架,通过锁定专用于检测的 DINOv3 视觉表示并引导轻量级 VLM 进行法证解释,解决了多模态联合训练损害视觉表征泛化性的问题。该方法在 14 个未见生成器上平均 AUC 达 97.4%,并在 XPlainVerse 和 LOKI 基准上取得高分。材料为预印本,未提及同行评审状态或开源代码。

  24. arXiv · 机器人与计算机视觉68

    Is This 3D Asset Usable? Beyond the Beauty Render for Asset Curation

    该论文介绍了一种名为 DRE 的方法,通过融合对齐的美观、线框和 UV 接缝视图,利用冻结 ViT 分类器评估 3D 资产的可用性。在 TexVerse 数据集上该方法达到 86.36% 的平衡准确率,并在外部测试集上取得 88.9% 的准确率。研究证明专用诊断视图能发现仅靠美观渲染无法识别的缺陷,且推理过程无需依赖元数据。

  25. arXiv · 机器人与计算机视觉72

    FlowBench:面向空间智能的反事实想象训练资源

    论文提出 Counterfactual Spatial Imagination 概念并发布 FlowBench 资源,包含 42.8 万涵盖仿真与真实场景的训练样本及自动配对管线。在 Qwen3-VL-8B 上微调后,仿真准确率提升 29.5 个百分点且现实图像提升 16.9 个百分点;同时使 Psi-0.6 的文本到流预测准确率从 52.1% 提升至 61.7%,代码与数据集已开源。

  26. arXiv · 机器人与计算机视觉78

    UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道论文:基于几何修正与分布对齐的仿真到现实路边激光雷达检测

    该论文描述了作者团队在 UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道的最终方案,该方案仅使用合成数据训练并在未见过的真实路边激光雷达上评估。

    推荐理由:作者提出针对路边 LiDAR 小目标检测的几何修正与分布对齐方法,并分享了可预测提交分数的实验方法论。

  27. arXiv · 机器人与计算机视觉28

    PhysFTM:基于 RKHS 因子的物理信息功能 Tucker 方法用于稀疏时空重建

    PhysFTM 是一种将 Tucker 模式因子参数化于再生核希尔伯特空间(RKHS)并融入偏微分方程约束的模型,旨在解决固定稀疏传感器下的物理动力学重建难题。该方法通过交替最小化重构支持帧连续场,并在 Tucker 核心空间构建轨迹以解码缺失帧,在 Allen-Cahn、Navier-Stokes 等四个基准上验证了高精度重建能力。代码已开源,论文已被 NeurIPS 2026 接收。

  28. NVIDIA Blog · Physical AI27

    英伟达推动半导体工厂向"AI 定义”转型——加速计算与物理 AI 缩短仿真周期并赋能工程决策

    英伟达通过加速计算与物理 AI 技术,帮助工程师在芯片制造全生命周期中更快评估替代方案、预测工艺行为并优化流程。借助 cuDSS、PhysicsNeMo 等工具,COMSOL、Applied Materials 及 Siemens 将多物理场仿真速度提升最高 35 倍,部分原本需数天的等离子体建模仅需毫秒级完成。

11月3日周二
  1. 盖世汽车 · 汽车资讯78

    百度Apollo World世界模型发布:让AI训练AI

    11月3日,百度在Apollo Day上首次披露面向物理AI的智能体驱动全模态世界模型Apollo World,并提出“2+3”判断标准。该模型具备因果性与交互性,强调物理准确性、持久性和实时性。

    推荐理由:百度Apollo首次披露面向物理AI的因果性、交互性驱动的世界模型,提出2+3判断标准并用于萝卜快跑全球化测试。

  2. Hugging Face Daily Papers33

    Lab2Sim:将真实实验视频转化为交互式虚拟实验的基准与代码生成方法

    EduVideo2Code 方法通过分层提取实验步骤、编码为显式状态机并执行验证,解决了多模态模型难以忠实重构实验装置的难题。该方法在两个骨干模型上均提升了四项评估维度,其中装置保真度增益达 24.15 分。基准包含 218 个科学实验视频及 11,881 项评分细则,旨在为学习者提供可交互的虚拟实验环境。

  3. arXiv · 机器人与计算机视觉78

    高斯混合端点的高斯舒罗丁格桥:投影间隙与路径空间障碍

    论文研究了布朗运动先验下高斯混合分布间的随机密度控制问题。由于直接求解无闭式解,作者引入升维路径空间构造,将轨迹增广源目标标签,分解为显式的分量间桥接问题及有限维熵耦合分配。

    推荐理由:该文提出高斯混合分布的升维路径空间构造,量化了投影间隙与路径空间障碍,为密度控制提供理论边界。

  4. arXiv · 机器人与计算机视觉80

    ExeWorldBench:首个基于代码的可执行三维世界建模基准

    ExeWorldBench 是首个全面评估世界理解与可执行实现的基准,旨在衡量将物理原理转化为代码系统的能力。该基准包含机制可执行性、组合可执行性和意图驱动的可执行世界合成三项任务。实验显示当前前沿模型在构建具有物理交互行为的系统中存在显著局限。

    推荐理由:ExeWorldBench 填补了代码化可执行世界建模的评测空白,通过三项任务揭示前沿模型在物理因果理解与实现上的局限。

  5. arXiv · 机器人与计算机视觉38

    SCALOFT 仿真框架下模糊逻辑引导的突变测试研究

    针对地下矿井无人飞行器(UAV)在不确定运营设计域(ODD)中的安全验证难题,该研究利用 SCALOFT 仿真框架开展突变测试。实验对比了均匀随机生成与模糊逻辑风险优先两种策略,结果显示后者能获得更高的突变分数并更有效暴露难以检测的故障。

  6. arXiv · 机器人与计算机视觉58

    低成本主动学习用于指代图像分割与定位

    该论文针对视觉定位(VG)中收集自然语言描述及区域标注成本高昂的问题,提出了一种无需原始文本的主动学习框架。方法利用基础模型生成辅助区域 - 文本对,引入“指代区域模糊度”新获取函数以优先选择存在跨区域竞争的图片,并设计了高效的标注界面。实验表明该方法在 RIS 和 REC 基准上优于现有基线,用户研究显示描述标注速度最高提升 1.6 倍。