跳到正文
10月8日周四
  1. arXiv · 机器人与计算机视觉82

    RoboJEPA:基于联合嵌入预测架构的多具身机器人潜在世界模型扩展研究

    论文提出 RoboJEPA,这是一个基于联合嵌入预测架构(JEPA)的世界模型,训练数据涵盖 12 种不同的机器人本体。研究发现其潜在回放的想象误差遵循计算量的二阶幂律,且下游规划性能随计算量可预测地提升。该模型在 80 亿参数规模下实现了零样本部署,能在真实硬件上针对单目标图像进行长视界任务规划。所有模型检查点及训练与部署代码均已开源。

    推荐理由:该工作首次建立了多具身机器人世界模型的扩展定律,展示了基于 JEPA 架构的 RoboJEPA 在计算量与性能间的可预测关系。

  2. arXiv · 机器人与计算机视觉42

    Shared Geometry As A Rosetta Stone 方法无需配对数据实现跨模态对齐并支持无配对文本生成图像

    GeoWarP 方法利用共享几何初始化,通过估计单正交映射在无配对示例下对齐独立训练的嵌入集。该方法在各类数据集与模态上均能一致完成粗粒度跨模态对齐,且标准几何指标可准确预测对齐可行性。在极少样本 regime 下性能显著优于现有方案,并支持无配对数据的文本生成图像任务。

  3. arXiv · 机器人与计算机视觉21

    FaceKit:罕见病可解释面部表型分析与合成图像生成工具包

    FaceKit 是一个计算框架,能从正面照片提取标准化面部地标测量及衍生出的 120 个形态特征,并报告代表偏离人群参考分布的特征级 z 分数。该工具基于 FairFace 数据集构建参考分布,并在涵盖 50 种罕见病队列的 GestaltMatcher Database 子集上进行了评估验证。

  4. arXiv · 机器人与计算机视觉25

    FlightMagNav:面向近地飞行器的户外磁场定位开源数据集与概率地图学习验证框架发布

    FlightMagNav 发布了一个包含无人机采集数据的开源集,涵盖双光泵磁力计、GNSS/惯导及用于地图学习与验证的测量。配套的概率框架演示了如何利用该数据构建并校验基于磁场的定位图。研究还规划了利用此数据集探索未来方向的路径。

  5. arXiv · 机器人与计算机视觉23

    HCPN-GCN:用锥几何扩展层级原型网络以解决持续图学习中的灾难性遗忘

    HCPN-GCN 通过替换线性特征提取器为图卷积网络并引入带多样性正则化的锥基原型,解决了传统 HPN 在结构多样图上原型增长低效的问题。实验显示该模型在六个基准测试中平均分类准确率优于原始 HPN 及代表性持续学习基线,同时保持近零遗忘。分析表明其使用约 30 倍更少的原子原型即可学习到更丰富的类层级原型层次。

  6. arXiv · 机器人与计算机视觉35

    密集人群轨迹预测新方法:基于动态聚类的高效算法

    针对现有方法在大规模、噪声大且跟踪不准的密集场景下计算成本高的问题,该研究提出一种新颖的基于聚类的插件式方法。该方法通过随时间将个体按相似属性分组并利用输出质心替代行人输入,实现了更准确的群体摘要。实验表明,相比最先进方法,新方案在处理多个挑战性密集人群场景时,显著降低了处理延迟和内存占用,同时保持了预测精度。

  7. arXiv · 机器人与计算机视觉69

    RoboPrompt:基于稀疏人类输入的直观机器人策略引导方法

    针对端到端模仿学习策略受限于数据多样性且难以零样本部署的问题,本文提出 RoboPrompt 系统,允许用户通过绘制轨迹、目标点等稀疏输入直观引导策略行为。该方法将意图翻译与底层策略解耦,利用可复用模块生成动作草稿并通过扩散或流匹配动力学进行细化,无需修改基线策略架构或微调即可平衡人类意图与策略先验。

  8. arXiv · 机器人与计算机视觉84

    行动前先改写:表征与缓解视觉语言动作模型的语意敏感性

    视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。

    推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。

  9. arXiv · 机器人与计算机视觉46

    MORCA:面向视频扩散加速的离线至在线强化学习缓存复用框架

    MORCA 是一种通过离线至在线强化学习训练的视频扩散模型缓存调度框架,旨在解决迭代去噪过程的高推理延迟问题。该框架利用潜在信息建立步误差与终端误差的关系,在用户指定加速比下实现优于现有最先进方法的生成保真度。代码已开源,实验涵盖多种视频生成模型及不同目标加速比率。

  10. arXiv · 机器人与计算机视觉42

    MultiFly:首个融合 RGB/热成像/LiDAR/雷达的标注高效低空无人机数据集发布

    MultiFly 是一个面向语义感知的真实世界低空无人机数据集,包含四场景共 17,272 帧同步样本及 15 类逐帧标注。研究通过仅手动标注 115 张 RGB 图像,利用共享几何表示将标签迁移至热成像、LiDAR 和雷达模态,生成超 840M LiDAR 点云与 3.4M 雷达点数据。迁移标注在保留集上达成 89.93% 平均一致性与 90.94% 跨模态语义一致性,并建立了四模态分割基准。

  11. arXiv · 机器人与计算机视觉82

    TouchScale:500 小时人类视觉与触觉交互数据集用于视觉 - 触觉学习

    TouchScale 是一个包含约 500 小时接触丰富的人类交互数据的统一数据集,使用单一穿戴设备同步采集了第一人称 RGB-D 视频、手腕 RGB 视频及双手密集触觉测量数据。

    推荐理由:TouchScale 数据集提供统一穿戴设备采集的 500 小时视觉 - 触觉同步数据,显著提升了零样本触觉预测精度与机器人操作成功率。

  12. arXiv · 机器人与计算机视觉78

    Scalable Patch-Level Self-Supervised Learning:JEM 算法发布

    论文提出了名为 JEM 的学生 - 教师自监督学习算法,该方法基于多视图假设构建信息论目标函数,通过跨视图对齐补丁表示并显式正则化以保留信息和结构。实验表明,JEM 在 300M 至 7B 参数规模下均能稳定训练,且在分割基准测试中超越 DINOv2;特别是在 7B 参数规模下,无需微调阶段且仅使用 DINOv3 1/12 的数据量,其泛optic分割性能即超过 DINOv3。

    推荐理由:提出基于多视图假设的 JEM 算法,在 7B 参数规模下实现稳定训练且无需微调即可超越 DINOv3。

  13. arXiv · 机器人与计算机视觉28

    ASTRA 建立风格迁移自动评估标准,ASTRA-Score 在内容保持与风格保真度上显著优于现有指标

    ASTRA(Assessment of Style TRansfer Algorithms)提出包含基准数据集、合成结果及用户两阶段比较数据的评估框架。基于此构建的 ASTRA-Score 能预测偏好对齐分数,实验显示其与人排序的相关性远高于 prior metrics。该工作为计算机视觉领域的风格迁移算法提供了可靠的标准化自动评估机制。

  14. arXiv · 机器人与计算机视觉4

    FedSSMCoOp:轻量级联邦提示学习框架用于少样本分类

    FedSSMCoOp 提出一种基于 SSM 编码器的联邦少样本图像分类框架,在无需外部大语言模型对齐特征的前提下实现多模态学习与隐私保护。该方案利用 Vision Mamba 和 Cross Mamba 模块优化软提示更新,相比基线平均轻量 1.96 倍且性能稳定。对应脚本即将发布,适用于数据受限的医疗影像等跨机构场景。

  15. arXiv · 机器人与计算机视觉45

    gSAP:首个可替代 InfoNCE 的全局平均精度表示学习损失函数

    研究提出 gSAP,一种仅需相似度矩阵与正样本标记即可替换现有损失的微分代理目标。该损失在批次内联合优化所有成对比较,解决了单阈值系统跨查询可比性问题,且在低温下保持可训练性。实验显示其检索到的正样本对最多为最强 AP 代理的 4 倍,并显著提升了迁移、kNN 及零样本分类准确率。

  16. arXiv · 机器人与计算机视觉82

    Hard, Yet Reducible:受控前向迁移用于合成退化策展

    论文提出受控可还原退化差距(cRDG)指标,通过对比合成退化与清洁增强的探针评估有限训练预算下的泛化增益。该方法在语义分割和显著性检测任务中提升了代表性预测器的性能,同时保持清洁图像表现,代码与支持材料将公开。

    推荐理由:提出 cRDG 指标筛选合成退化数据,在语义分割与显著性检测任务中提升模型泛化且不损害清洁图像性能。

  17. arXiv · 机器人与计算机视觉42

    MOTIF:超越 3DMM 系数的 POI 深度伪造检测模型

    MOTIF 是一款仅基于真实视频训练的视觉专用深度伪造检测器,无需任何合成数据或特定人物(POI)数据。该模型证明仅形状块系数即可恢复几乎全部检测精度,且能利用被传统方法丢弃的密集表面信息弥补系数特征的不足。在多个数据集及两种质量水平下,MOTIF 在所有基准测试中均优于现有的最先进 POI 深度伪造检测器。

  18. arXiv · 机器人与计算机视觉58

    超越掩码与轨迹:面向手术视频生成的流引导潜在动作注入方法

    论文提出 FLAIR 框架,通过从真实手术视频的视差场学习动作先验,结合文本提示动态预测并注入潜在动作表示至冻结基座模型,实现无需辅助条件的高质量手术视频生成。研究构建了首个大规模手术视觉数据集 SurgActionClip-30K 及专用评估指标 SurgMetrics,实验表明该方法在仅用文本输入时即可保持高动作一致性且符合人类感知偏好。

  19. arXiv · 机器人与计算机视觉42

    SoccerNet-FoulRet:首个语义犯规检索基准发布

    SoccerNet-FoulRet 是首个基于 SoccerNet-MVFoul 数据集构建的语义犯规检索基准,旨在解决裁判难以对比历史判例的不一致问题。该基准在 693 条人工验证查询上评估了零样本模型与微调基线,最强零样本模型 HitRate@10 低于 5%,而类别监督微调仅小幅提升先例检索能力。研究通过 arXiv 预印本开源,确立了语义犯规检索作为计算机视觉与信息检索领域的开放问题。

  20. arXiv · 机器人与计算机视觉53

    ΔWAM:将动作切线场蒸馏至世界动作模型

    针对现有世界动作模型(WAM)过度依赖外观和场景持续性而非动作相关动态的问题,该方法提出通过局部泰勒展开重构世界监督信号,引入动作条件世界模型探测动作变化与残差世界的对应关系。在 LIBERO-Plus、RoboTwin 等数据集上验证了其在光照、背景及布局扰动下的鲁棒性提升,并将多步去噪蒸馏为单步以优化推理效率。

  21. arXiv · 机器人与计算机视觉42

    Latent Watermarks under Generative Editing 基准与检测生存分析

    针对普通提示编辑导致潜在水印失效问题,研究对八种水印方法、五种编辑器及四种生成骨干网进行了基准测试。结果显示仅编辑主要区分 Tree-Ring 水印,而叠加失真能暴露更广泛的检测生存谱系;标准化清洁分数分离($d'$)是组织复合生存层级的有效经验诊断工具。代码与辅助工件计划单独发布,相关预印本已上传至 arXiv。

  22. arXiv · 机器人与计算机视觉35

    SNAP 方法解决视觉语言预训练中合成困难负样本的失效模式

    SNAP 提出一种生成模内困难负样本的方法,彻底规避了跨模态构造过易或包含正样本、以及模内构造引入匹配正样本这两类失效模式。该方法无需外部生成模型且训练开销低于 10%,在 CLIP 和 FLIP 架构上显著提升了零样本检索与分类性能。

  23. arXiv · 机器人与计算机视觉75

    更好的视觉表征是否总能带来更好的端到端自动驾驶?ViRA 框架与 ViRA-Diffusion 方法研究

    本文引入 ViRA 框架以探究视觉基础模型(VFM)在端到端自动驾驶中的有效性,研究发现 VFM 引导的视觉表示能一致提升性能且无需改变规划器架构。研究还指出选择 VFM 目标对规划性能有影响,而辅助感知监督可减少对此选择的敏感度。基于此开发了无需辅助监督的 ViRA-Diffusion 扩散模型,在 NAVSIM v2 navtest 上取得 92.3 EPDMS 成绩。

  24. arXiv · 机器人与计算机视觉42

    Iris-3B:通过像素空间扩散训练超越潜在空间模型的研究

    Iris-3B 是一个 30 亿参数的像素空间文本生成图像 Transformer,经$256\to512\to1024$课程预训练。实验显示其在单目深度估计和图像修复任务上未显著优于 FLUX.2 Klein,但在 OneIG 评测中与 Qwen-Image 质量相当。研究公开了权重、代码及失败模式分析,为像素空间生成探索提供基准。

  25. arXiv · 机器人与计算机视觉45

    卫星验证闭环:扩散模型检测飞机凝结尾迹避免气候变暖

    针对凝结尾迹难以与天然卷云区分的难题,研究构建了一个仅用单 GPU 训练的 840 万参数小型扩散模型。该模型在受控研究中达到 0.476 PR-AUC,显著优于 DeepLabV3+(0.414)和 MedSegDiff(0.119)基线。实验表明提升输入分辨率至两倍可使其性能持平,且简单翻转旋转操作比架构选择更能提升精度。

  26. arXiv · 机器人与计算机视觉45

    VIS-Ground:视频交互式叙事中的情境 grounding 模型

    VIS-Ground 提出结构化情境抽象与约束诱导机制,解决观众干预下视频生成对源内容与渲染状态的隐式依赖问题。该模型在三个骨干网络上均实现最高综合得分,较最强基线平均绝对提升 10.3 分。研究揭示了叙事与知识 grounding 的增益及依赖提取、渲染忠实度等现存挑战。

  27. arXiv · 机器人与计算机视觉83

    VLM 为何会漏掉小物体以及何时缩放是安全的

    该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。

    推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。

  28. arXiv · 机器人与计算机视觉5

    EM-SNN:面向遥感图像去雾的高效调制脉冲神经网络

    EM-SNN 提出一种专为遥感图像去雾设计的脉冲神经网络框架,通过统计驱动的阈值调制神经元和 Spike Sobel 调制模块解决高频衰减与离散阈值耦合问题。在 HRSD、RICE、RRSHID 及 SateHaze1K 数据集上验证显示,该模型在保持事件驱动稀疏性的同时,能耗仅为强 ANN 基线 SFRDP-Net 的四分之一。

  29. arXiv · 机器人与计算机视觉33

    PhyDiCT:通过可微渲染与强先验实现稀疏 X 射线 CT 重建的即插即用框架

    PhyDiCT 是一个免训练框架,结合基于比尔 - 朗伯定律的可微物理前向模型与文本条件扩散先验,利用分裂吉布斯采样优化投影保真度并引入测试时细化步骤。在公开 3D CT 数据集上评估显示,该方法相比全训练方法 SSIM 指标提升 7.5%,代码将在发布后开源。该工作已被 MICCAI 2026 接收并将发表于 LNCS 16888。

  30. arXiv · 机器人与计算机视觉42

    ReFIT:一种用于加速大视觉语言模型推理的自适应视觉 Token 缩减框架

    ReFIT 提出了一种指令引导的视觉 Token 缩减框架,通过相关性引导窗口重塑和指令引导 Token 细化技术,在保持空间结构信息的同时降低计算成本。实验显示该方法在四个 VQA 基准测试中提升了回答准确率并减少了算力消耗,定性结果证实了其在定位相关区域及去除冗余信息方面的有效性。该工作目前处于审稿状态,代码与权重暂未公开。

  31. arXiv · 机器人与计算机视觉45

    PoolDINO:高效扩散模型中的池化表示自编码器研究

    PoolDINO 引入学习到的仿射池化算子合并相邻 token,在 ImageNet-256 上实现 4x 压缩保持生成质量、16x 压缩提升效率。固定 100 步采样预算下,其潜在空间采样吞吐量较未池化基线分别提升 3.7 倍和 9.0 倍。该研究发表于 arXiv,属于计算机视觉领域的预印本论文。

  32. arXiv · 机器人与计算机视觉38

    StyleFields:多尺度 AdaIN 调制的隐式 SDF 实现粗到细三维重建与编辑

    StyleFields 是一种基于 DeepSDF 的架构,通过深度自适应实例归一化注入潜变量,实现了无需部分标签或对抗训练的几何风格混合。该方法在计算机视觉领域展示了高保真重建能力,并成功应用于汽车空气动力学任务,利用可微代理阻力预测器优化车身全局形态与表面细节编辑。

  33. arXiv · 机器人与计算机视觉42

    VCR-Bench:首个视频分类鲁棒性模块化开源基准框架

    VCR-Bench 填补了图像分类后视频分类鲁棒性基准的空白,提供统一协议以解决现有实现分散难复现的问题。该框架集成 30 个模型、14 种攻击与 10 种防御组件,在 Kinetics-400 子集上报告准确率、成功率及运行时等指标。项目已发布文档化安装脚本与可复运行预设,代码与结果可通过指定 URL 获取。

最多提供 50 页,更早的内容请使用搜索或主题页。