跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉70

    PanDWM:一种基于全景带的 4D 驾驶世界模型方法

    论文 PanDWM 提出将六个针孔相机视图拼接为单一 360°全景带,使视角一致性转化为图像连续性约束。该方法采用因果学生网络分步生成全景窗口,并通过前馈解码器结合邻帧静态高斯构建 4D 场景。在 nuScenes 数据集上,PanDWM 在单视口评分下 FID 低于多相机基线,速度提升 8-46 倍,同时将 FVD 降低 22-25%。代码与网站链接已提供。

  2. arXiv · 机器人与计算机视觉72

    面向以人为本自动驾驶的路缘通行感知:少样本学习用于个人化校准

    本文研究路缘是否可通行的感知问题,指出同一场景对不同辅助移动工具用户存在不同判断,单一标签不适用。作者提出 PassCal 方法,通过冻结的视觉语言模型提取场景描述,结合基于 1.49 万份公开审计训练的检测器预测障碍属性,再根据少量(如 8 个)新用户的回答拟合其响应风格与权重进行校准。

  3. arXiv · 机器人与计算机视觉71

    超越以车辆为中心的数据:通过路侧到车辆的生成扩展自动驾驶

    针对自动驾驶模型训练依赖车载传感器且采集成本高的问题,本文提出 AnyR2V 框架,将路边多模态观测转化为不同车辆视角的七摄像头环视视频。该框架聚合时序观测构建共享场景表征,渲染外观、深度和布局条件以匹配目标车辆轨迹,并利用时空对齐的路侧 - 车载数据对进行监督生成。

  4. arXiv · 机器人与计算机视觉78

    PRISM:基于原语集成与优先级视觉记忆队列的组合式零样本学习

    该论文提出了 PRISM 框架,通过分层知识积累模块和优先级视觉记忆队列,实现了组合式零样本学习的在线测试时自适应。实验表明,Full PRISM 在 UT-Zappos、MIT-States 和 C-GQA 三个基准上均取得了最佳的开放世界 AUC 和谐均值结果,而 Adaptive PRISM-Lite 版本则在保持较小精度损失的同时显著提升了效率。

    推荐理由:PRISM 框架将原型迁移扩展至测试时自适应,在三个基准上实现最佳开放世界性能。

  5. arXiv · 机器人与计算机视觉48

    复用层何时助益多模态嵌入?——MMEB-V2 基准上的循环 Transformer 研究

    该研究在 MMEB-V2 基准的 78 个数据集上验证,标准附加循环使检索分数下降 0.46 分,而中间生成阶段则提升 0.36 分。预训练引入循环的模型相比去环控制组增益 4.23 分,且在视觉问答与文本定位任务中受益于查询条件化的图像更新。研究区分了前向信息流保持查询独立性与双向注意力下的状态敏感性机制。

  6. arXiv · 机器人与计算机视觉78

    翻转测试:视频世界模型未能学会世界状态

    该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。

    推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。

  7. arXiv · 机器人与计算机视觉42

    Pros4D:在潜在空间建模动态演化的 4D 世界以支持时空推理

    Pros4D 框架通过潜在空间统一观测动力学理解与未来动力学预测,利用几何 grounded 监督压缩状态并自回归推演。该研究涵盖动态相机、物体及场景的八类空间任务基准,在多项实验中均优于强基线模型。项目页面已提供实验版本 PDF 与 HTML 链接,相关代码或权重开放许可情况需查阅官方说明。

  8. arXiv · 机器人与计算机视觉42

    TF-VSM:一种无阈值视觉语义匹配指标用于评估主体驱动图像生成的一致性

    TF-VSM 提出了一种无需人工调参的连续置信度加权评分机制,解决了现有 VSM 依赖固定阈值导致的不稳定问题。在包含真实修复预言家的 100 对基准测试中,该方法经重训练后皮尔逊相关系数达 0.638、斯皮尔曼等级相关系数为 0.674,显著优于 CLIP、DINO 及 VLMs 等基线。该研究通过消融实验证实平滑置信度加权机制的有效性,并确认无阈值设计对训练损失平衡具有不变性。

  9. arXiv · 机器人与计算机视觉53

    Recovery-Guided Model-Based Diffusion for Safety-Critical Legged Locomotion

    这篇论文提出了一种名为 Recovery-Guided MBD 的框架,旨在解决安全关键型高速足式运动规划中短预测视界与安全前瞻性的平衡问题。该方法将学习到的终端恢复评估器融入轨迹优化,并在采样阶段结合视界内约束与末端可恢复性进行可行性引导细化。

  10. arXiv · 机器人与计算机视觉78

    当后门可以被关闭:针对视觉语言动作模型的感知抑制后门攻击

    该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。

    推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。

  11. arXiv · 机器人与计算机视觉48

    SemLite-GS:面向无人机倾斜影像的轻量级建筑重建语义选择并行高斯泼溅框架

    SemLite-GS 提出一种针对大规模无人机倾斜影像的轻量化建筑重建框架,通过正射参考图建立全局一致身份并仅更新目标高斯以加速训练。该方法利用渲染深度与法线提取建筑平面引导有向距离场优化,在保持多边形预算相当时显著优于传统全场景重建及网格简化方法。源代码已公开于 GitHub 仓库。

  12. arXiv · 机器人与计算机视觉87

    JEPA4R:基于 4D 点规划的具身 JEPA 世界模型

    该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。

    推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。

  13. arXiv · 机器人与计算机视觉42

    时空极光粒子沉降的神经场重建方法获 WACV 2027 接收

    针对从地面相机图像反演高能电子沉降场的逆问题,该方法提出利用时序条件神经网络建模动态极光电子沉降场,通过每帧潜变量编码与共享解码器生成多波长体积发射率并渲染成像。在合成动态序列及真实多视角视频上的评估显示,该表示法能产生时间连贯的沉降重建结果且图像投影与观测一致。论文已获 IEEE/CVF WACV 2027 接收,为计算机视觉与空间物理交叉领域提供新工具。

  14. arXiv · 机器人与计算机视觉78

    输入空间与特征层条件化:鲁棒面部表情识别的受控比较

    面部表情识别在光照、曝光或分辨率偏离训练分布时性能急剧下降。本文在 RAF-DB 数据集上对输入空间条件化(使用四种确定性视图)和特征层条件化(FiLM/Conditional BatchNorm)进行了受控对比。

    推荐理由:该研究在 RAF-DB 数据集上系统对比了输入空间与特征层两种条件化策略,发现前者在六种骨干网络中均提升准确率且成本更低。

  15. arXiv · 机器人与计算机视觉48

    SEAT:一种用于多标签舌诊的符号类型证据审核框架

    SEAT 是一种基于冻结 DINOv2 特征的证据审核框架,通过掩码引导注意力、半松弛最优传输及共现感知正则化机制提升多标签舌诊一致性。在 TongueDx 基准测试中,该模型平均宏 F1 达 72.59(标准差 1.04),六模型集成版更以 74.15 的分数超越基线及专用视觉语言模型。代码已公开,研究聚焦于将预测路径与特定舌诊特征对齐以增强证据解释性。

  16. arXiv · 机器人与计算机视觉48

    事件相机在恶劣光照与运动下的目标检测:建筑工地的经验教训

    针对建筑工地夜间及隧道等低光场景,事件相机凭借微秒延迟和超 120 dB 动态范围,在低光测试集上以 27.2 AP 优于 RGB 的 21.3 AP。像素对齐 PEOD 数据集验证了无训练融合方案在所有光照下均达 33.3 AP 的最优性能。研究还发现高速运动是事件检测器的主要挑战,并提出了相机布设指导。

  17. arXiv · 机器人与计算机视觉72

    从云端到边缘:一种用于坑洞风险评估和驾驶员警告生成的完全本地化流程

    该研究提出了一种完全本地的视觉语言模型流程,用于将道路图像转化为几何感知的坑洞警告。系统重构了分割、严重程度分级和警告生成三个核心阶段,使其能在单张本地 GPU 上离线运行。实验显示,本地方案处理速度为每场景 1.27 秒,比原云端系统快 16 倍且无需按场景付费;在特定相机设置下,其风险分类性能接近云端模型,生成的警告在盲测中也被认为更安全且清晰度相当。

  18. arXiv · 机器人与计算机视觉38

    分布式多智能体系统实现未知物体协同运输

    提出一种无需先验知识的分布式多机器人策略,通过边界跟随与基于航向误差的推力调节实现未知形状物体的目标导向运动。该方法在凸与非凸形状及动态变质量分布下验证有效,且对摩擦不均和轮滑等外部干扰具有鲁棒性。系统路径效率高、耗时一致,运输时间随可用推面数量(取决于物体尺寸、形状及安全距离)变化。

  19. arXiv · 机器人与计算机视觉82

    AlphaTruck:面向非结构化地形的快速越野自主驾驶平台

    AlphaTruck 是一个集成多模态感知、嵌入式 CPU-GPU 计算和车载自主栈的 1/5 比例大型车底盘平台,旨在解决全尺寸车辆昂贵且 RC 车辆负载受限的问题。该平台在仅依赖车载感知与计算的情况下,实现了在非结构化地形上 6-10 m/s 的高速自主导航,适用于测绘、搜救及农业等商业与防御任务。材料为预印本论文,详细阐述了该平台的架构设计与平衡移动性、感知、算力、负载及可维护性的工程挑战。

    推荐理由:AlphaTruck 平台在 1/5 比例车架上实现了高速非结构化地形自主导航,为算法开发与部署提供了新的硬件基准。

  20. arXiv · 机器人与计算机视觉48

    Sim-to-Real Room-Mediated Object-Goal Navigation with ROS 2 and Nav2 在波士顿动力 Spot 与 Clearpath TurtleBot 4 上的部署研究

    该研究将基于房间概率向量(RPV)的物体目标导航策略通过机器人无关的 ROS 2 桥接,部署于波士顿动力 Spot 和 Clearpath Robotics TurtleBot 4 平台。在包含 66 次试验的大学设施中,Spot 机器人搜索 11 类物体的原始成功率为 0.455,低于仿真环境的 0.539。分析指出未检测到的玻璃墙、进入禁区及房间词汇与物理布局不匹配是导致差距的主要原因。

  21. arXiv · 机器人与计算机视觉63

    残差复用:流匹配世界动作模型中的缓存或去噪更少?

    论文研究在 Fast-WAM 6B 参数世界动作模型上,比较跨周期缓存(C$^3$ache)与减少去噪步数的策略。实验显示,保留两个未缓存步骤可在所有初始状态下保持不低于十步的成功率,且将重规划调用时间从 202ms 降至 92ms。研究指出缓存策略脆弱,覆盖路径比例过高会导致成功率下降,并建议测试复用时应基于部署时的采样器和噪声设置。作者开源了评估工具、日志和检查清单。

  22. arXiv · 机器人与计算机视觉78

    扩散驱动规划器的轨迹质量早期可读性研究

    该论文系统研究了三种预训练规划器(Alpamayo、ReCogDrive-IL 和 HDP),发现其内部状态在第一次去噪评估后已能支持有效的候选者选择,而后续去噪并不总能提升选择质量。基于此提出的早期选择方法仅对选定候选者完成去噪,相比对所有候选者完全去噪减少了计算量,并在所有三种规划器上提升了开环轨迹质量和闭环驾驶得分与进度。

    推荐理由:研究证实扩散规划器在第一次去噪后即可进行轨迹选择,该方法能显著降低计算量并提升 Alpamayo 等模型的闭环驾驶表现。

  23. arXiv · 机器人与计算机视觉82

    迈向概率安全的强化学习:理论与人形及空中机器人部署

    本文扩展了鲁棒安全梯度流强化学习框架以解决标准方法无法保证安全约束且依赖无偏估计器的局限。新 formulation 支持包括碰撞规避在内的轨迹级约束,并允许使用有偏的价值和梯度估计器。

    推荐理由:本文扩展了鲁棒安全梯度流强化学习框架,允许有偏估计器并支持轨迹级约束,实现了 Unitree G1 人形机器人与 Crazyflie 无人机的零样本仿真到现实部署。

  24. arXiv · 机器人与计算机视觉35

    Learning Spatially Aware Audio-Visual Features from Videos with Mono Audio 提出新模型

    针对现有空间模型泛化差、语义模型缺失空间特征的问题,该研究引入能联合双耳音频与视觉进行时空推理的新模型。通过开发自动管线定位声源并渲染双耳音频以扩展 VGGSound 数据集规模,实现了在空间推理任务上的性能提升及更好的泛化能力。

  25. arXiv · 机器人与计算机视觉57

    EndoComparer:基于伪孪生视觉适配与感知 - 比较推理的手术视频对比问答研究

    论文提出 EndoComparer 模型用于手术视频对比问答,包含伪孪生视觉 LoRA(PSVL)和感知 - 比较思维链(PtC-CoT)两个组件。作者构建了 EndoDiffVQA 基准数据集,涵盖胆囊切除术和胃旁路手术的解剖、工具、动作和技能问题。实验显示该模型在检测视频差异方面优于通用及手术专用 VLM,且对视频交换干扰具有更强鲁棒性。

  26. arXiv · 机器人与计算机视觉35

    Consistency-Aware Map Generation at Multiple Zoom Levels Using Aerial Image:基于航拍图像的多级地图生成框架发布

    该研究提出一种利用航拍图像自动生成多级一致地图的新框架,包含感知层级与感知一致性两个生成器。团队构建了大规模高质量数据集 Multi-Level Map (MLM),实验表明该方法在综合定量指标和感知质量上均优于现有最先进方法。论文代码与数据处于预印本阶段,尚未正式开源或商用。