INSIGHT:基于几何语义层级转移的室内场景智能(arXiv 论文)
针对室内环境缺乏空间智能基础设施及小尺寸安全关键特征识别难的问题,该研究提出 INSIGHT 零目标域标注流程,通过注册 RGB-D 数据将2D图像理解投影至3D度量空间。
针对室内环境缺乏空间智能基础设施及小尺寸安全关键特征识别难的问题,该研究提出 INSIGHT 零目标域标注流程,通过注册 RGB-D 数据将2D图像理解投影至3D度量空间。
针对真实世界数据采集受限且合成数据缺乏场景适配的问题,论文提出全自动数据引擎 InHabit。该引擎结合 2D 基础模型生成符合场景的交互动作,并将其映射到 SMPL-X 人体模型上。
针对实验室安全隐患难以实地采集数据的难题,本文构建了一套将文本场景转化为图像、图关系及标注的合成数据生成管线,构建了包含 1207 组四元组的合成数据集。实验表明,现有视觉语言模型在仅凭像素提取结构化物体关系时表现不佳。
EarthScape 是一个针对地理域偏移的地质测绘及地表感知学习多模态基准,整合了航拍影像、LiDAR 高程等多源数据构建 37 通道输入。实验表明工程化地形表征比原始高程更具鲁棒性,且空间支撑与多模态输入显著影响性能,但复杂交叉注意力并未带来一致优势。该基准代码与数据集已开源,论文已被 IEEE/CVF WACV 2027 接收。
论文提出了 Coupled Guidance 框架,通过理论分析指出将扩散模型引导直接迁移至流匹配会破坏训练时的耦合分布导致不稳定。该方法从几何角度利用流匹配的固有结构进行优化,并在 ManiSkill3 机器人避障、Adroit 灵巧操作及图像生成任务中验证了其在提升样本质量与稳定性方面的有效性,且无额外开销。材料已接受于 NeurIPS 2026。
针对参照视频目标分割(RVOS)缺乏事件流数据的问题,作者构建了 Event-SAMA-239K 合成数据集及 Event-SAMA 模型。该工作将 SAMA-4B 适配至两通道极性 Patch Embedding 与零初始化事件适配器,在 MeViS 验证集上取得 24.37 J&F 分数,建立了首个原生事件流 RVOS 基线(RGB 版本为 55.4)。
该研究结合灾难虚拟仿真与多智能体情感表达,评估了疏散过程中智能体数量及行为对用户决策的影响。结果显示,伴随更多智能体撤离能提升用户自信度,且智能体选择的路线显著影响用户决策。结论表明 VR 训练需考量周围智能体的集体行为对使用者心理状态的塑造作用。
OrbitalGym 是一个基于 JAX 的轨道博弈仿真环境,支持多智能体、显式通信及锥形视场传感器等配置。研究对比了 PD、LQR、MPCPI 和 MCTS 策略在追逃与护卫任务中的表现,发现燃料比主导多数遭遇,而针对能触及资产的攻击者,更优的守卫策略在 56 至 74 种能力配置中将防御概率提升至少 10%。
该论文提出 Wavelet Phase Diffusion($ ext{\psi}$-PD),旨在解决基于傅里叶域的扩散模型在仿真到现实(Sim-to-Real)翻译中因全局谱耦合导致的振铃和边界泄漏问题。
SonoWorld4D 框架接收单目视频输入,生成包含动态物体运动轨迹与物理一致声场的 360 度静态背景及 4D 场景。该方法利用双空间音频扩散同步技术,实现了实时新视角视觉与空间音频渲染。真实世界动态场景评估与用户研究表明,生成的视听场景在几何与内容上具备感知真实的物理基础。
论文介绍 L3G-World 模型,利用 Latent 3D Gaussian Memory 结合前馈重建效率与紧凑场景表示,通过记忆更新器与视频扩散 Transformer 交替自回归生成空间一致的世界。
针对现有机器人仿真覆盖范围窄且开发成本高的问题,本文引入 Gym-Anything for Robotics 框架,通过代码代理自动生成逼真仿真环境。研究基于美国 GDP 数据筛选任务,构建包含 25 个仿真、25 个测试及 175 个训练环境的 RoboWorld 基准。
KITScenes Aerial 是 KITScenes Multimodal 数据集的扩展版本,通过同步车载传感器数据、车辆姿态以及丰富的 Lanelet2 地图标注,新增了空间关联的高分辨率空中影像和神经表示。
该论文提出 PhysInsert 框架,旨在实现物理合理的参考式物体插入,联合适配目标物体及其周围场景。研究构建了 Insert World 数据集,包含严格对齐的 Blender 渲染反事实配对及多视角光照下的物体参考。
针对高质量可动资产(articulated assets)构建困难的问题,本文提出 RFW-A 框架,结合智能体合成与程序化生成的优势。该方法将类别内共享的构造逻辑组织为可复用生成器,经智能体测试验证后,通过纯程序执行批量生产多样化资产,无需额外模型调用或 Token 费用。实验表明,基于该库训练的模型在未见类别上具备高结构/运动学有效性,且仿真策略能零样本迁移至真实物体。
SynthFaces 是一个面向生成模型训练与微调的平衡身份中心人类数据集,旨在解决真实数据偏见及隐私风险问题。该数据集通过扩展 Arc2Face 扩散模型并结合流匹配生成技术构建,实现了生成保真度与标签多样性的双重目标。项目已接受 BMVC 2026,代码仓库提供下载,图像与身份均为合成以保护隐私。
SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。
推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。
针对锥形束 CT(CBCT)定量应用受限问题,本文提出 EPC-RawDC 框架,结合几何等变性投影约束与原始数据一致性监督。在 JUST 和 SynthRAD2025 两个独立临床队列中,该方法 SSIM 达 0.97,PSNR 分别提升 2.66 dB 和 2.10 dB,显著降低误差并优于 DDPM 基线。代码将在发表后开放。
针对极端环境下图像严重退化导致的新视角合成(NVS)难题,本文提出 MLLM-GS 框架。该框架包含两个分支:一是利用冻结的多模态大语言模型(MLLM)丰富视觉先验来增强受损视图,并通过轻量级校正网络减少像素错位和色彩偏差;二是优化光栅化、高斯内存布局和参数更新以提升 3DGS 效率。实验表明,该方法在多种退化场景中能有效处理严重干扰,实现高质量重建且显著降低计算时间和显存消耗。
针对域泛化语义分割任务中难以兼顾抑制域敏感干扰与保留细粒度空间线索的挑战,本文提出 SIFR 框架。该方法利用频域建模统一调节异构先验交互与密集解码器细化,通过光谱引导的不变融合过滤域敏感响应并保留互补信息,同时引入基于低频统计归一化的解码器细化模块以稳定多尺度特征。在合成到真实、真实到真实及恶劣天气等多个基准上的实验表明,SIFR 显著优于现有最先进方法。
推荐理由:提出基于频域的双流框架 SIFR,在无需目标域数据条件下提升语义分割的泛化性与精度。
该论文提出 Parametric Gaussian Noise Mixer (PGNM),这是一种基于归一化卷积的显式统计模型,直接拟合成对干净和含噪图像以统一合成相机噪声(SIDD)和模拟胶片颗粒。该方法无需训练神经网络生成器,在 SIDD 数据集上表现出最低的分布和相关性误差,且生成的噪声去噪器表现接近真实噪声训练结果。材料为技术报告,包含预印本链接与补充材料,未涉及真实机器人部署或产品发布。
arXiv 论文介绍 LiDAR-SHIELD,这是一个统一的、完全 Docker 化的框架,用于对基于 LiDAR 的 3D 感知模型进行对抗鲁棒性压力测试。
针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。
推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。
论文 FutureWorld 针对交互式视频世界模型中基于历史方法导致的误差循环问题(如模糊细节、几何畸变和语义漂移),提出了一种即插即用的因果下一片段预测器(C-NCP)。
论文针对统一多模态模型(UMMs)在多图像合成中的长视觉上下文计算开销问题,提出首个免训练上下文压缩方法 CATP。该方法通过校准通用注意力剪枝的偏差,引入引导一致剪枝与泰勒校准注意力指标,在代表性基准上实现最高 2.09 倍的注意力核心加速,优于现有最先进剪枝方法。
该论文针对自动驾驶中先验地图因信息过时或临时变化导致偏差的问题,提出 PriorMaskMap 框架以增强在线矢量建图的鲁棒性。
针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。
推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。
该工作研究生成内容是否已达到匹配真实数据属性的完美程度。作者训练深度神经网络分离真实与伪造数据,并在模糊、降采样等抽象操作后观察分类器表现。结果显示,除将图像抽象至人类肉眼难以分辨的程度外,几乎没有任何抽象能使伪造数据在统计上与真实数据不可区分,表明伪造图像的差异远大于通常认知。
arXiv 预印本论文 Self-Supervised Doppler-Guided RF Odometry 提出 RFWalk 框架,利用射频信号进行自监督里程计估计。
针对传统帧相机在高速运动下的模糊与延迟问题,本文提出一种基于 CUDA 的事件相机仿真器,将其集成到可微分物理仿真管线中以支持端到端策略训练。该方法直接映射事件帧至控制指令,无需中间深度估计。作者在四旋翼平台上实现了零样本真实部署,验证了其在助航与无导航设置下的鲁棒性,包括常规相机失效的低光环境。
GradSplat 是一种无需目标视图的前馈模型,通过在正向传播内部引入学习到的梯度步骤来优化自身高斯的形状、不透明度与颜色。该方法结合对数各向异性校正和循环更新机制,在 RealEstate10K 六个视图协议下优于九种方法,且在 ScanNet++ 上表现最佳。代码将在指定链接发布。
针对恶劣天气限制户外计算机视觉部署的问题,该方法利用结构保留的低秩适配器(LoRA)在 Stable Diffusion XL (SDXL) 中分析注意力块并学习结构矩阵。实验表明,该框架无需 ControlNet 等外部条件即可生成高保真数据,在提升合成真实性的同时有效保留了场景结构,为户外应用提供鲁棒的训练与评估数据管线。
针对扫描受限导致仅能获得少量投影数据的场景,该方法利用单张二维投影样本学习姿态感知扩散先验,结合测量视图保真度与投影物理一致性进行引导采样。在两个公开数据集的 1、4 及 8 视设置下,其新颖视角合成得分最优,重建质量优于或持平依赖密集体积监督的基线方法。
BudSplat 是一种在有限渲染预算下保持高价值高斯原生的紧凑前馈 3DGS 框架,通过多视觉令牌提取细节感知重要性分数并联合优化渲染贡献进行质量感知剪枝。该方法有效解决了稀疏到稠密多视图输入中冗余原生累积导致的效率瓶颈问题。实验表明,该模型在 RE10K、DL3DV 和 ACID 数据集上实现了渲染质量与效率的良好平衡。
论文提出 GOFish,这是首个能直接基于鱼眼图像训练、渲染超过 180°视场并从同一场景提取对齐网格的 3D Gaussian Splatting 表面重建方法。
作者发布了基于 Genesis 构建的 DexSuite 全合一仿真框架,集成了 30 个任务、10 种机械臂、12 种末端执行器及标准化环境 API。该框架提供遥操作接口与模拟触觉传感,并定义了包含 16 对任务 - 本体组合的基准,同时开源了来自人类遥操作、脚本专家及学习策略生成的 4,700 个成功仿真集数数据集。
刚成立不久的物理超级智能(PSI)公司宣布,其自研AI科研系统Emmy在量子信息理论的5个开放问题上取得进展,其中3题为本世纪初收录的难题。论文、Lean形式化证明及验证代码已上传至GitHub供学人审查。该系统采用“生成 - 验证”分离架构,利用大模型拆解假设并通过Lean编译器进行严格数学逻辑筛查,旨在实现科学发现的规模化生产。
推荐理由:PSI公司宣布其自研AI科研系统Emmy在量子信息领域取得突破,并公开了Lean形式化证明与验证代码供审查。
Genspark Media Studio 正式推出 All in one 视频 Agent 工作台,集成 DeepSeek V4.1 Flash、Seedance 2.5 等 70 多个模型版本。实测显示其支持一键生成奥特曼 rap 短片及《定价夜》商剧,利用代码渲染与白模预演降低返工成本。用户无需切换平台即可完成从剧本到剪辑的全流程,Plus/Pro 会员在特定时段享受五折优惠。
文远知行披露旗下子公司景烁科技完成7000万元Pre-A轮融资,资金将用于业务扩张及运营。该公司致力于构建物理AI时代的数据及世界模型基础设施,自研了打通数据全流程的WorldEngine平台、面向物理场景的生成式统一世界模型GENESIS-Robotics以及全栈自研采集硬件EGOK。景烁科技称其世界模型能将机器人技能冷启动周期由数月压缩至数周,并已与全球数十家大模型公司及具身智能企业建立合作。
国产AI 3D大模型Hi3D正式开放V1.0版本代码与权重,基于约200万个筛选后的3D资产训练,在复杂结构表示与细节保留上表现突出。该模型沿用Sparc3D架构,支持从粗网格到1536³分辨率的逐级细化,多视图保真度与细节丰富度指标领先,切片成功率达90%。