Cracks in Embeddings:JEPA 基胸片表征的鲁棒性与稳定性研究
针对自监督联合嵌入预测架构(JEPA)在医疗影像中鲁棒性不足的问题,研究测试了四种基于 JEPA 的胸片编码器。实验显示,在边界攻击等扰动下,I-JEPA 编码器的余弦相似度降至 0.33,AUROC 下降 0.12。通过对抗微调将嵌入一致性提升至 0.97 以上,而仅用干净数据训练的向量量化方法则导致性能进一步恶化。
针对自监督联合嵌入预测架构(JEPA)在医疗影像中鲁棒性不足的问题,研究测试了四种基于 JEPA 的胸片编码器。实验显示,在边界攻击等扰动下,I-JEPA 编码器的余弦相似度降至 0.33,AUROC 下降 0.12。通过对抗微调将嵌入一致性提升至 0.97 以上,而仅用干净数据训练的向量量化方法则导致性能进一步恶化。
Rabeya Noor 等人发现主流深度估计模型(如 Depth Anything V2)在数字变焦下会错误地认为场景变近,因为这类模型过度依赖物体大小而非焦距信息。研究通过无标签测试量化了误差,并证明利用真实相机参数或移除‘模糊即变焦’捷径的自洽性微调可显著修正该问题,使深度估计对缩放因子不敏感。
针对现有方法依赖点云导致定位与分类受限的问题,本文提出 See and Detect 框架,利用多视图图像作为主要证据生成 3D 框和语义标签。通过单图候选发现、多视图共识框融合及质量评估提升定位鲁棒性,并引入上下文感知语义学习增强分类精度。实验表明该方法在 ScanNet 和 ARKitScenes 数据集上达到最先进性能,运行速度比此前 SOTA 方法快超过 500 倍。
该方法主张在行为分类前重构动物与物体的三维几何,使二维至三维逆问题的模糊性显式化并具备可修正潜力。研究先在模拟互动的老鼠数据上验证策略,随后扩展至真实视频场景进行演示。论文共 8 页含 9 张图和 1 个表格,收录于 GFaI Future Tech Days Tagungsband 2026 会议论文集。
针对边缘设备需求上升但现有轻量级方法精度不足的现状,本文提出无需引入额外数据集或参数的三阶段训练策略 Signal Scaffolding。该方法应用于自设计的轻量化网络 ReForgeDepth,在 KITTI 和 Cityscapes 数据集上实现了精度与效率的最优平衡,并能在边缘设备上实时运行。研究结果表明,通过优化训练方式即可进一步挖掘轻量级模型的潜在能力。
针对家庭与办公环境中服务机器人需基于少量观察且面对外观、环境噪声及语音内容变化进行用户识别的挑战,本研究提出了一种无需人员标签的多模态人物概念模型。该模型采用基于中国餐厅过程的非参数贝叶斯生成模型,结合 CLIP 和 CLAP 提取的视觉、声学及语言特征,并通过主成分分析(PCA)处理。
该论文提出了 Q-GAS,一种结合多分辨率显式 3D 特征网格、紧凑 SwiGLU 风格二次门(QG)解码器及误差感知无预测采样的坐标可查询视频表征方法。
arXiv 发布论文 VACO,针对单张 RGB 图像进行密集手部接触估计任务,提出顶点对齐解码器以解决传统直接预测器中顶点无锚定导致的接触涂抹问题。该方法通过 MANO 顶点采样局部特征,联合训练重建与接触预测,无需辅助重建器即可在推理时预测位置。
推荐理由:该预印本提出顶点对齐解码器解决单图密集手部接触估计难题,在五项基准上刷新 SOTA 并提升下游交互重建效果。
针对稀疏图像导致的过拟合问题,该方法提出基于谱系家族的阶段式丢弃策略与平衡稠密化机制。在 LLFF、MipNeRF360 及 Blender 数据集上的实验表明,该框架实现了具有竞争力的稀疏视角重建效果。相关代码与数据暂未开放,论文处于 arXiv 预印本状态。
针对深度传感器缺失导致地图累积误差的问题,该研究提出了 ERA 系统,利用 RGB 图像和位姿预测深度,采用‘带着误差移动’范式,通过可修订的占据栅格和可达视点探索来修正地图并持续搜索。实验显示该方法在三个基准测试中达到免训练方法的最优性能,并将 VLFM 的成功率从 10.8% 提升至 61.7%,且已在真实机器人上部署验证。
论文提出 QCAP-VQA 模型,利用排名分割提案构建问题条件的先验来监督交叉注意力头,并通过 capped prior-mass 目标函数限制先验内的注意力质量。
推荐理由:提出基于问题条件的 capped prior-mass 监督方法,在无需专家掩码下实现空间监督并验证了自动先验的局限性。
该研究提出一个无需训练的开放世界场景去遮挡框架,旨在从单张 RGB 图像中恢复被遮挡或用户选定对象的完整外观(amodal appearance)。方法将场景分解为几何合理、语义忠实且视觉上与可见部分一致的深度有序 RGBA 层。
针对 VGGT 等多视图 3D Transformer 全局注意力计算成本随图像数二次增长的问题,研究提出无需训练的 Regime-Aware Attention Approximation (RAWATTA) 方法。
针对视网膜 OCT 仅部分包含视网膜组织的结构特征,该方法利用图像强度与预测分割进行解剖引导目标选择,替代了传统均匀掩码策略。实验显示,基于图像强度的矩形目标在 FairVision 数据集上的线性探测青光眼分类 AUC 最高,证实了解剖意义选择的有效性。该研究作为 NeurIPS 2026 GenAI for Health Workshop 海报被接受(非存档),代码与权重暂未开放。
该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。
推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。
该研究评估了针对 YOLOv3、YOLOv4 检测器配合 SORT 等系统的图像特定与图像无关攻击,发现 HOTA 指标在最强攻击下从约 56% 骤降至 17%,MOTA 甚至跌至 -772.60%。实验基于 CARLA 仿真平台进行,揭示了仅凭检测精度无法表征对下游轨迹估计的潜在影响。论文已上传至 arXiv,代码与权重暂未提及开放许可。
Skydio 发布专为自主部署和高空高速飞行设计的 F10 Lightrunner 固定翼无人机。为解决传统固定翼在低空盘旋侦察时的视野遮挡问题,该机型将相机置于机翼尖端,导致机身非对称且重心偏移。
Narwal 通过自研 SLAM 算法、NarMind 自主系统及 FlowWash 热水清洁等技术,构建了从深圳研发到东莞制造的完整供应链。其 DualFlow 免缠绕系统与地毯深洁模块使地毯清洁性能提升 40%-50%,解决了宠物毛发缠绕痛点。截至 2026 年 4 月,产品已覆盖全球超 30 个地区、服务逾 600 万用户,北美 Flow 2 新品在亚马逊美国站发布 24 小时内登顶销量榜。
量子位报道了Latent Space对国产开源模型Naive-N0.5-Flash的实测结果,该模型在综合表现上介于DeepSeek V4.1 Flash与GLM 5.3 Flash之间。
针对Talking-face(TF)深伪视频缺乏真实生理特征的问题,论文提出PulseGuard框架,通过RhythmFormer提取rPPG波形并训练轻量分类器区分真迹与合成痕迹。
DACMC 损失函数将平均曲率嵌入 Chan-Vese 区域泛函,无需训练参数且推理零成本。在肝脏 CT、脾脏 MRI 及 ISIC 皮肤镜数据集上,该方法配合 U-Net 或 CE-Net 骨干网络,Dice 指标优于半数竞争基线,并将脾脏 MRI 的 HD95 降至 16.28 mm。实验显示其仅增加 4.8% 训练时间,通过五种子验证显著稳定训练并消除严重失效,适用于小目标分割场景。
论文提出了基于广义 Winfree 动力学的振荡神经网络(WONN),通过在环面 $(S^1)^d$ 上进行结构化振荡交互,结合相位归纳偏置与灵活的分层机制。
针对生成式 AI 在平面图生成中缺乏设计目的性、难以直接评估的问题,本文引入空间句法理论构建中间表示(design container),提出 RPLAN-SSI 基准以量化公共空间的整合优势。研究发现生成模型存在功能布局差距,并通过 SSPT 后训练方法在五种扩散模型骨干上有效缩小该差距,同时保留原有机制。
该论文提出 MVC-ZigAL 框架,通过联合建模所有生成视图的 MDP 公式、利用自改进采样策略的优势学习以及拉格朗日对偶优化,解决少步文本多视角扩散模型在单图生成质量与跨视图一致性上的矛盾。代码已开源,论文被 CVPR 2026 接收。
论文提出 CAT-Free 方法,仅需同步 RGB 视频流即可完成相机位姿与地面平面估计,进而通过三角化实现多视角行人检测与跟踪。该方法利用几何滤波器剔除因相机误差导致的虚假位置,无需外部标定或特定场景训练,在 WildTrack、MultiviewX 和 GMVD 数据集上分别取得 89.2、84.1 和 76.1 的 MODA 分数,且对相机参数误差鲁棒性优于依赖已知参数的方法。
Geometry-Preserving Blind Watermarking for Raw 3D Point Clouds 提出基于八叉树架构的盲水印框架,直接在原始点云坐标上嵌入信息并无需参考原图即可恢复消息。该方法通过随机变换层应对几何扰动、利用渐进姿态对齐增强鲁棒性,在物体级与场景级基准测试中实现低几何失真且视觉隐蔽性优于手工方案。
针对传统过行收获机非选择性损伤果实、且现有选择性机器人仅针对单果效率低的问题,本文提出 CLASP 机器人系统。该系统配备软式主动滚带夹爪(SARB-Gripper),通过闭环力控将拉力控制在未成熟果实脱落阈值以下;结合眼手相机与眼在手相机的全局 - 局部感知管线实现簇定位与姿态估计。
论文提出了 DRS-VPT,这是一种面向基础图像到扫描配准的前馈 Transformer 架构。给定查询图像和参考 3D 点云,模型预测扫描姿态、点图以及各相机的姿态与点图(均在首相机坐标系下)。
针对基于 CLIP 的零样本异常检测方法缺乏可解释性与可扩展性的问题,本文提出 CoEvoAD 框架。该方法在离散自然语言空间利用进化算法进行提示词搜索,保留语义的可组合性;同时引入跨类别迁移目标,将未使用的源类别作为代理以评估提示规则的泛化能力。实验表明,CoEvoAD 在多个异常检测数据集上达到最先进性能。代码已开源,论文已被 EMNLP 2026 主会接收。
Morph-ISR 提出了一种针对数字病理图像的高分辨率重建框架,通过引入 IPKG 和 MFP 模块解决复杂组织下的纹理模糊与边界丢失问题。在 TCGA 和 SurGen 数据集上,该方法将 LPIPS 和 ST-LPIPS 指标较次优方法分别降低 38.37% 和 39.55%,同时保持高 PSNR 与 SSIM。紧凑的参数化与高通量特性支持边缘部署,代码与模型将在发表时公开。
针对 Vision Transformers 在测试时依赖高注意力分数抑制对抗补丁的防御漏洞,本文提出对抗诱饵方法。该方法将诱导错误预测与规避防御解耦,通过优化独立诱饵区域提升目标令牌注意力并压制非目标竞争令牌,从而在不牺牲攻击有效性的前提下误导基于注意力的防御机制。实验表明,该方法在多种架构和攻击形式下均能成功重定向高注意力分数,揭示了仅用注意力作为对抗相关性指标的根本局限。
论文提出了 GUSH3R(Gaussian-Unified Scene Human 3D Reconstruction)框架,旨在解决从单目视频中联合建模场景几何、相机运动与非刚性人体动态并实现照片级渲染的挑战。
推荐理由:该工作提出 GUSH3R 框架,利用单目视频一次性重建动态人物与场景为 3D 高斯泼溅,在保持几何一致性的同时显著提升推理效率。
论文提出了 NEXUS 框架,利用结构图表示物体并构建动态接触图,通过标量能量和耗散项而非直接预测状态来建模运动,从而在变化机械属性和物理效应组合下提升长时序准确性。该框架为接触丰富的视频生成提供有效引导,改善物理合理性并保持视觉质量。材料为预印本,未报告真实机器人部署结果。
论文提出 AVI-HT 方法,利用同步的多模态训练数据(穿戴式视觉与 6-DoF IMU)及跨传感器深度注意力机制,实现对重度遮挡下的高精度三维手部姿态追踪。在 DexGloveHOI 数据集上的实验表明,该方法相比基线将平均关键点误差降低 16.1%,腕部对齐变体降低 24.2%,并将手指与物体的接触丢失率减少 8.5%。该工作已接受发表于 NeurIPS 2026。
Hanzhe Liang 提出 Open3D-AD 方法,利用少量已知异常样本训练模型以识别未知工业缺陷。该方法基于包含 15 类、每类 5 种真实异常的 Open-Industry 数据集构建基准,在 Real3D-AD 和 Anomaly-ShapeNet 上验证了有效性。论文已撤回且未提供许可证,代码与权重暂未开放。
ENIGMA-360 是一个在真实工业场景中采集的自他视角(ego-exo)数据集,包含 180 段第一人称和 180 段第三人称程序化视频,两者时间同步并提供互补信息。数据已标注时空注释,支持研究工业领域的人类行为。作者提供了四个基础任务的基线实验结果:时序动作分割、关键步识别、自他视角的人机交互检测以及基于视频的跨视图问答,展示了现有方法在该挑战场景下的局限性,并公开了数据集及注释供公众使用。
ReflFlow 框架通过残差材质增强高斯泼溅表示及混合渲染管线,解决了动态高光场景中的反射方向估计与物理建模难题。在动态场景基准测试中,该方法定量定性均优于先前方法,生成了更清晰逼真的复杂环境高光反射。该成果作为 ICML 2026 预印本发布,包含代码、权重与数据,共 16 页含 5 张表格。
LENS 是一种专为多模态大语言模型(MLLM)设计的即插即用范式,通过冻结主模型并附加轻量级头部来提取注意力图关键点以实现像素级分割。实验表明该方法在保持与重训练方法相当的分割性能同时,有效避免了通用能力的灾难性遗忘。该成果已发表于《国际计算机视觉杂志》(IJCV),相关代码与论文版本 v2 可通过 arXiv 获取。
arXiv 发布了一项关于 SAGES Critical View of Safety (CVS) Challenge 的研究论文,这是首个由外科协会组织的 AI 竞赛,旨在通过腹腔镜胆囊切除术中的 CVS 步骤建立手术质量评估标准。
推荐理由:该工作发布了首个由外科协会组织的 AI 手术质量评估基准,提供了包含千小时视频的多标注数据集及 EndoGlacier 管理框架。
MedGS 是一个基于高斯泼溅(Gaussian Splatting)的框架,旨在解决超声、MRI 和 CT 等多模态 3D 医学影像中的表面重建与帧间插值难题。