跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉56

    通过屏障引导扩散采样实现异构团队的组合能力

    该论文提出一种方法,利用训练于单智能体演示的生成模型,结合编码团队物理属性的约束来生成合作任务轨迹。作者证明该方法能生成所有满足约束的团队轨迹,尽管演示中不含合作信息;数值实验与多机器人测试床验证了其在无需重新训练的情况下支持成员动态增减的能力。

  2. arXiv · 机器人与计算机视觉43

    GameRealm:基于游戏原生监督的视觉基础模型大规模数据集发布

    GameRealm 是一个包含超 1.2 亿 RGB 帧和 1000 小时游戏录像的大规模数据集,提供深度、相机参数及音频等多模态同步监督。该资源涵盖单目至全景等多种视图配置,旨在解决训练数据碎片化问题并增强视觉生成与几何学习能力。其统一采集管线结合人工交互与智能体探索,为物理智能发展提供了可复用的基础数据支撑。

  3. arXiv · 机器人与计算机视觉42

    Pressure Drop:利用分布式气压传感器阵列直接观测重力矢量方向

    Pressure Drop 提出利用高度计测量直接观测重力矢量方向,理论评估了估计噪声并验证了传感器间距的影响。实验显示该系统在半静态场景下倾斜估计中位误差为 $0.87^\circ$,在动态场景及加速度计饱和情况下性能媲美甚至优于惯性测量单元(IMU)基线方法。该方法已集成至迭代最近点(ICP)算法,展示了在机器人系统中的潜在应用价值。

  4. arXiv · 机器人与计算机视觉48

    Nunchi:语音线索辅助眼神追踪解决多人对话歧义

    Nunchi 框架通过结合转录文本与说话人模型输出,利用视觉语言模型权衡几何视线与对话线索以精准识别多人场景中的注视对象。在包含 3,340 个样本的 SORBET 基准测试中,该方法比最强现有方法准确率提升 4.8 个百分点,且增益在三种 VLM 及自动转录条件下均成立。

  5. arXiv · 机器人与计算机视觉42

    FMT:固定步数并行无损图像压缩格式发布

    FMT(Fixed-step Multiscale Tree)是一种将解码顺序与熵编码器协同设计的无损图像格式,确保任意尺寸图像均在固定数量的串行步骤内完成解码。该格式在无需网络时即超越 NVIDIA HTJ2K 的体积与速度;配合大型网络,在相同 A100 GPU 上将 Kodak 照片解码速度提升 9 至 61 倍,且优于同类学习型编码器。

  6. arXiv · 机器人与计算机视觉35

    RVT-T 事件相机模型在海上无人机搜救中实现实时人员检测

    RVT-T 模型基于 v2e 模拟器生成的合成事件数据,在 Jetson Orin Nano 平台上以约 136 ms 延迟和 2.02 J/样本能耗实现海上人员实时检测。该模型在 843 个测试样本上达到 15.63% AP50:95,显著优于 YOLOv8n(6.89%)和 RT-DETR-R18(9.44%)。研究已接受于 WACV 2027 海事计算机视觉研讨会,代码与数据待开放许可。

  7. arXiv · 机器人与计算机视觉45

    UnrealEvent:基于虚幻引擎 5.5 的事件相机合成数据集生成与标注工具

    UnrealEvent 是一款运行于 Unreal Engine 5.5 的合成数据集生成管线,通过 V2E 事件帧生成器与 EasySynth 语义渲染将场景序列转化为配对事件表示及 YOLO 格式标注。该工具在 eTraM 基准上评估显示 YOLOv8 检测器具备强域内性能但存在显著的仿真到现实差距,尤其是行人目标;微调少量真实数据可提升实域表现,凸显资产多样性与传感器校准的重要性。

  8. arXiv · 机器人与计算机视觉42

    PAIR:基于 Matter 协议的智能家居仿真环境与基准测试

    PAIR 是一个基于 Matter 协议构建的智能家居仿真环境,包含 84 个智能设备资产及 340 个人类演示数据。在由 1,200 次评估组成的基准测试中,两种微调后的视觉语言动作模型(VLA)策略均未完成任何任务,超过 90% 的失败案例停滞于导航或操作环节。研究团队表示将在发表时开放代码与数据。

  9. arXiv · 机器人与计算机视觉63

    RFW-S:具备独立仿真验证的日常可变形物体数据集

    论文介绍 RFW-S 数据集,包含 83,365 个经过独立仿真验证的变形物体资产,覆盖 485 类日常物品及五种结构家族。作者开发了结合参考引导生成、结构感知物理建模与 LLM 参数校准的自动化管线,并通过独立于校准过程的交互行为评估确保物理可靠性。

  10. arXiv · 机器人与计算机视觉68

    ReTouchGS:超轻量无渲染美学色彩增强与转移框架

    论文介绍 ReTouchGS,这是据称首个针对预训练 3D Gaussian Splatting 模型的免参考图像美学色彩增强框架。该方法通过模型及其相机参数预测场景级查找表(LUT),并利用共享的混合感知色彩细化网络(仅 4.47 万参数)实现无需渲染的色彩映射与几何保持。

  11. arXiv · 机器人与计算机视觉58

    Magflow:一种支持工业级 6D 磁悬浮的可微分仿真方法

    论文介绍了 Magflow,这是一个完全可微分的 GPU 并行仿真器,专门用于模拟具有六自由度的工业级磁悬浮系统。研究团队利用该工具训练了首个纯基于物理仿真的神经网络控制器,并展示了其能零样本迁移到真实硬件,在 4 kHz 频率下满足硬实时约束,甚至实现了传统手工设计无法支持的拓扑结构控制。

  12. arXiv · 机器人与计算机视觉71

    当锚点偏移目标:用于扩散强化学习的优势门控适应

    论文指出前向过程强化学习在利用移动策略副本作为锚点进行稳定训练时,会因负优势导致凹性更新干扰正反馈教学。作者形式化这一冲突为锚点耦合问题,并提出优势门控适应方法,通过参数无关的门控函数区分处理正样本的目标拟合与负样本的局部排斥方向,同时利用冻结预训练参考保留长程行为。实验表明该方法在组合生成、文本渲染和偏好对齐任务中提升了奖励与质量的权衡效果。

  13. arXiv · 机器人与计算机视觉48

    无标注合成水下垃圾检测数据生成方法对比:DALL-E 提升四领域性能

    针对水下目标检测因浑浊、光照及传感器差异导致的数据稀缺问题,研究提出无需人工标注的自动化零标注流水线。该流程在 SeaClear 数据集上比较了复制粘贴、Stable Diffusion 修复及 DALL-E 三种生成策略,结果显示 DALL-E 方法在五个领域中提升了四个领域的检测性能,相对基线最高增益达 96%。

  14. arXiv · 机器人与计算机视觉83

    M3OPD-Reasoner:一种基于多教师同策略蒸馏的视觉语言模型后训练开放配方

    论文提出 M3OPD-Reasoner 这一完全开放的视觉语言模型(VLM)后训练方案,涵盖图像 STEM、图像感知和视频三个推理领域。研究构建了包含 1.35M 样本的监督微调数据集和 19.3K 样本的强化学习数据集,并在去污染后的 21 个基准测试上验证了多教师同策略蒸馏(MOPD)结合组序列策略优化(GSPO)及混合强化学习的最佳组合效果。

    推荐理由:作者提出 M3OPD-Reasoner 开源配方,通过多教师同策略蒸馏与强化学习结合,在图像 STEM、感知及视频推理任务上实现性能提升。

  15. arXiv · 机器人与计算机视觉71

    当更大的引导尺度能修复文生视频失败以及何时不能:一项测量研究

    该文针对文生视频扩散模型忽略提示词部分的常见修复手段(提升分类器自由引导尺度)进行了测量研究。研究发现,该手段仅在提示词不含否定词、无特定时间绑定事件且'需求分'足够高时才有效;对于否定句或晚期事件失败,重新生成反而更有效。作者提供了基于提示词和首阶段去噪分数的事前判断规则及三种失败类型的修正方案。

  16. arXiv · 机器人与计算机视觉65

    RelayWAM:让未来预测性表征可被利用的机器人世界模型方法

    针对现有世界动作模型(WAMs)在推理时丢弃未来预测、导致深层视觉层学到的预测信息未被动作路径有效利用的问题,本文提出 RelayWAM 架构。该方法引入显式过渡空间,基于任务指令和当前状态提取跨深度的步相关预测线索并直接传递至动作注意力机制,无需生成未来帧。

  17. arXiv · 机器人与计算机视觉52

    基于物理信息的触觉变形线性物体形状估计研究

    针对变形线性物体(DLO)在视觉遮挡下难以精确估计形状的问题,该研究提出无需视觉感知的触觉本体感知方案。作者引入物理信息视觉 Transformer 框架,利用高解析度触觉印记捕捉边界条件与接触梯度,通过自注意力机制和物理加权损失函数确保预测几何符合物体的物理流形。

  18. arXiv · 机器人与计算机视觉58

    SpikWM:一种高效的端到端脉冲视觉规划世界模型

    针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。

  19. arXiv · 机器人与计算机视觉38

    Rescaling OLS-Merged Adapters 提升个性化图像生成效果

    Rescaling OLS-Merged Adapters 方法通过重缩放合并更新量,解决了普通最小二乘法(OLS)在激活分布重叠时削弱任务特定信号的问题。在多主体个性化场景下,该方法将合并适配器数量扩展至 30 个,显著提升了主体保真度并优于未缩放基线。此外,该技术在风格迁移、概念擦除及图像分类等任务上也取得了改进效果。

  20. arXiv · 机器人与计算机视觉84

    无需训练的建筑变化检测方法:基于示例诱导的判别式特征

    建筑变化检测通常依赖昂贵的大规模密集标注。本文提出 Linear INduced Discriminants (LIND),一种无需训练的框架,将区域特征对比转化为可复用的线性分类器。

    推荐理由:提出无需训练的线性判别框架,利用少量标注实现跨数据集的建筑变化检测。

  21. arXiv · 机器人与计算机视觉75

    Sim2CBF:从正向仿真到无模型导数的隐式控制屏障函数安全过滤

    针对复杂机器人环境交互中底层动力学难以建模且预测模型导数不可靠的问题,该研究提出 Sim2CBF 框架。该方法仅利用前向模型评估解决控制屏障函数(CBF)安全滤波优化问题,通过有限差分和对采样控制输入的局部线性插值近似 CBF 约束,同时保持避错保证。

  22. arXiv · 机器人与计算机视觉38

    Fiberpose:基于距离变换神经网络的纤维形态测量与实例分割最先进框架

    Fiberpose 将纤维分析重构为平滑距离变换场的直接回归,通过几何算法在统一工作流中实现直径与方向测量。该独立 Python 桌面应用及 Web 工具在 SEM 图像数据集上,实例分割精度优于 SAM2 和 Cellpose-SAM,直径测量更准于 DiameterJ、Fibar 和 GIFT,且在弱边界密集区域有效并具备跨显微模态的定性泛化能力。

  23. arXiv · 机器人与计算机视觉38

    Sideslip-Conditioned Drift Trajectory Planning with Flow Matching and Control Barrier Functions 首次提出基于目标侧滑角的生成式漂移轨迹规划器

    该研究提出首个明确以请求峰值侧滑角为输入条件的生成式漂移轨迹规划器,结合流匹配模型与强化微调。在 Assetto Corsa 仿真闭环实验中,非线性模型预测控制器成功跟踪了 20 至 45 度六个目标侧滑角的轨迹。中位峰值侧滑角误差仅为 1.2 度,且控制屏障函数修正显著降低了脱路与打转事件。

  24. arXiv · 机器人与计算机视觉43

    SWIR-cGAN:利用 CBERS 和 AMAZONIA-1 VNIR 影像合成短波红外波段

    该研究提出一种带注意力增强的 U-net 生成器与多损失目标的条件对抗网络(cGAN),旨在解决跨卫星泛化难题。模型在 CBERS 及 AMAZONIA-1 数据上训练,针对 SWIR-2 波段实现 SSIM 0.917、PSNR 33.35 dB,显著优于基线。代码与权重已公开于指定 URL,验证了从 VNIR 合成短波红外影像的可行性。