DreamFormer:一种用于语言条件化机器人操作的 Transformer 世界模型模仿方法
论文介绍 DreamFormer,这是一种通过模仿专家演示来习得语言条件化多任务技能的基于模型的智能体。该模型首先从无结构的玩耍数据中学习任务无关的 Transformer 世界模型,然后在潜在空间中优化内在奖励以对齐生成的轨迹与专家演示。
推荐理由:该工作提出基于 Transformer 的世界模型进行语言条件化机器人操作模仿,在 CALVIN 基准上展示了优于行为克隆的零样本泛化能力。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
论文介绍 DreamFormer,这是一种通过模仿专家演示来习得语言条件化多任务技能的基于模型的智能体。该模型首先从无结构的玩耍数据中学习任务无关的 Transformer 世界模型,然后在潜在空间中优化内在奖励以对齐生成的轨迹与专家演示。
推荐理由:该工作提出基于 Transformer 的世界模型进行语言条件化机器人操作模仿,在 CALVIN 基准上展示了优于行为克隆的零样本泛化能力。
针对相机基 3D 占用和场景流预测对不可靠时空聚合敏感的问题,作者提出 SelectOccFlow 框架,通过语义引导采样、状态条件时序聚类和范围感知空间聚合逐步优化图像、时序与体素域的证据。
推荐理由:提出 SelectOccFlow 框架,通过语义引导采样与状态条件时序聚合提升 3D 占用预测性能。
论文提出 LoCoSplat(Local-Context Splatting),利用锚点周围点云的局部平均替代重型学习网络来预测高斯参数,实现无动态稀疏计算的单图 CUDA 编码。
推荐理由:提出无需重型网络的局部上下文高斯泼溅方法,在多项指标上超越现有最先进的前馈模型。
该论文针对移动摄像头视频中的指代多目标跟踪(RMOT)任务,提出通过估计相机运动并提取残差运动来补偿全局运动干扰的方法。研究将运动匹配程度与现有 RMOT 方法的预测结果进行后期融合,并在不同宿主模型中验证了作为插件的性能增益。材料为预印本版本,未报告真实机器人部署或量产结果。
推荐理由:提出通过估计驾驶员视角视频的相机运动并提取残差运动,以解决移动镜头下物体表观位移与真实运动不一致的问题。
本文对多种开源水印和指纹方法进行了基准测试,评估其在感知质量、鲁棒性、误报率和成本方面的表现。PixelSeal 在图像和视频水印中平衡最佳,AudioSeal 适用于音频;但 TrustMark 变体的纠错检测器在未标记图像上存在较高误报率。指纹检测方面,基于非商业数据的复制检测器对变换图像的检出率最高,DINOv2 次之,且未观察到几何验证带来的改进。
推荐理由:该基准评测了开源水印与指纹方法的鲁棒性与误报率,为内容溯源技术选型提供了实证依据。
该研究提出自动化流程,将放射科日常报告中的二维标注(如测量、箭头)转化为大规模短语 - 掩码监督数据,无需额外人工标注。在单机构 PACS 系统中处理了5.9万例腹部CT,生成了10.5万个短语 - 掩码 - 体积三元组。
推荐理由:提出利用放射科常规标注自动生成大规模短语 - 掩码数据集,并训练出在腹部 CT 定位任务上表现优异的 LocusCT 模型。
该论文针对多模态皮肤病变分类中临床元数据缺失及资源受限的挑战,提出了一种基于掩码特权信息蒸馏的框架。通过用完整元数据的教师模型监督随机掩码了部分临床字段的更小(9.2 倍)学生模型,实现了在任意元数据可用性水平下均优于交叉熵训练的平衡准确率提升。
推荐理由:针对临床元数据缺失场景,提出基于掩码特权信息蒸馏的框架,在 PAD-UFES-20 数据集上验证了模型在资源受限下的鲁棒性与注意力稳定性。
FADE 是一种针对预训练文本到视频模型的多种类概念擦除框架,旨在移除指定概念同时保留其他行为。该方法先应用联合闭式键值编辑抑制目标概念,再训练由帧索引和去噪步长门控的每概念帧感知低秩适配器以消除残留泄漏。
推荐理由:FADE 框架通过帧感知低秩适配器解决了视频去概念化中的残留问题,在多个模型上验证了多概念擦除的有效性。
本文针对程序化视频预测评估协议提出审计,发现即使协议保持时序因果且无经典目标泄露,仍可能通过提供特权中间表示导致能力宣称与实测构造不匹配。在 Breakfast 数据集上,使用识别器历史与真值历史的得分分别为 30.3% 和 62.3%,存在显著差距。研究通过固定检查点干预、无视频来源探测及边界无关查询控制等实验量化了这一特权信息差距,并提出了可复用的四条件审计框架以支持更可靠的评估。
推荐理由:该研究通过审计发现,现有视频预测基准因泄露中间表示而高估模型能力,并提出了可复用的四条件审计框架以验证评估有效性。
该研究通过微调四个开源视频语言模型(Qwen3-VL、Gemma-3 等),发现使用可验证奖励的训练策略虽能显著提升模型在合成数据上的表现,但并未带来真正的时序理解能力。实验显示,纯合成数据会导致模型在真实视频上泛化性能严重下降,而混合真实视频数据能有效缓解这一问题。此外,研究指出模型准确率的提升主要源于非视觉因素,而非对事件顺序的掌握。
推荐理由:研究表明可验证奖励虽能提升视频语言模型在基准上的准确率,但并未赋予其真正的时序理解能力,且纯合成数据会导致域外泛化严重下降。
论文介绍 CADFather,这是一个自主智能体系统,用于从 3D 网格重建可编辑的参数化 CAD 程序。该系统利用预训练模型协调视觉语言助手与生成/算法工具,决定扩展候选程序、调用工具及何时结束,并通过数值优化细化参数。研究在 DeepCAD、Fusion360、MCB 等数据集上评估了重建质量与执行有效性,并分析了计算成本与质量的权衡。
推荐理由:该工作提出 CADFather,通过协调生成与算法工具自主重建参数化 CAD 程序,在多个基准上评估了质量、有效性与成本权衡。
论文提出 QueryArt 模型,能够从单张 RGB 图像、二维查询点和相机内参中估计连杆几何参数。该方法将分割与估计解耦,通过查询点深度测量恢复度量尺度,在合成与真实数据混合训练后,于移动机械臂的 57 次操作任务(涵盖 16 个部件和五类视角)中达到 70.2% 的成功率,并优于近期基线。代码与视频已公开。
推荐理由:该模型仅凭单张 RGB 图像与查询点即可估计连杆几何参数,在移动机械臂的 57 次操作中实现 70.2% 成功率。
RSNA 联合多家学会发布了 RSNA-ICA 数据集,包含来自全球 21 家机构的 7202 个 CTA、MRA 和 MRI 影像系列。该数据集涵盖有瘤与无瘤患者,提供病灶存在性标注及位置信息,其中 178 个系列包含三维分割数据。5041 个系列已通过 MIRA 公开供非商业研究使用,旨在推动基于 AI 的动脉瘤检测技术在血管造影及常规神经影像中的应用。
推荐理由:RSNA-ICA 数据集提供多模态影像与三维分割标注,支持颅内动脉瘤检测算法的开发与评估。
针对高光谱遥感领域碎片化严重、张量规范不兼容及评估非标准化的问题,该工具通过模块化框架统一了涵盖 CNN、ViT、Mamba 等六种范式的 55 个代表性模型。
推荐理由:该库统一了 55 个高光谱模型与 24 个基准场景,提供标准化评估流程与防重叠划分方案。
该预印本论文针对视觉语言模型(VLM)在安全关键场景下的鲁棒性提出质疑。研究发现,即使在极小的扰动范围(ε≤4/255)内,通过白盒威胁模型下的对齐策略,也能成功实现目标图像的语义替换。
推荐理由:研究表明在极小扰动下即可实现语义替换,揭示了 VLM 在安全关键场景下的脆弱性。
针对变形式4D高斯泼溅中统一纹理分辨率导致低细节区域存储浪费的问题,本文提出ADATEX4D模块。该模块为每个高斯携带打包的RGBA三平面,其两个轴根据可见性归一化的屏幕空间梯度和变形局部尺度独立增长。在N3DV和PanopticSports数据集上的实验表明,该方法将纹理存储减少超过一半,同时在固定内存预算下提升了重建质量并降低了整体模型与峰值显存占用。
推荐理由:该文提出自适应纹理容量分配模块,在变形式4D高斯泼溅中显著降低存储并提升质量。
该论文对 VGG、ResNet 和 GoogLeNet 三大架构族在 CIFAR-10 数据集上的分类性能进行了受控对比研究。作者形式化了名义深度与有效深度的区别,发现 VGG 风格堆叠随有效深度增加而早期饱和,而 ResNet 和 GoogLeNet 则通过保持较低的有效深度继续受益。
推荐理由:该文通过对比 VGG、ResNet 和 GoogLeNet 在 CIFAR-10 上的表现,提出有效深度悖论,指出拓扑结构而非单纯层数决定深层 CNN 的可训练性。
该工作提出一种基于事件引导的神经视频编码器(ENVC),利用共享的事件流改善 RGB 帧的运动编码与时间上下文预测。研究合成配对数据并在六个基准上评估,结果显示相比 DCMVC 平均比特率降低约 39.13%(PSNR-RGB)和 67.63%(LPIPS)。模型代码已公开于 arXiv 链接。
推荐理由:提出利用事件流辅助 RGB 视频压缩的模型,在六个基准测试中显著降低比特率。
本文介绍 EyeRobot 2.0 框架,通过旋转两个“眼睛”视点进行主动注视,将计算资源集中于任务相关特征,从而仅用单台双目相机实现精细的双手操作。研究在真实世界和仿真环境中收集了遥操作数据,并在超过 1000 次物理试验中验证:相比被动立体视觉方案,该框架在真实场景成功率提升 40%,当抓取物体遮挡腕部相机时表现更优,接近甚至超越依赖腕部相机的策略。
推荐理由:提出利用主动注视策略,仅凭双目相机实现高精度双手操作,显著优于被动立体视觉方案。
针对图文生成模型评估中现有方法依赖固定参考答案或微调的局限,论文提出 DEPICT 这一无需训练的指标。该方法通过比较图像基与文本描述各自生成的答案之间的预期一致性来替代固定参考,并根据文本对问题的决定性程度加权问题权重,从而将否定词识别准确率从 19% 提升至 88%。
推荐理由:提出无需训练的 DEPICT 指标,通过图像与文本答案的一致性替代固定参考,显著提升对否定词等细粒度问题的评估准确率。