Saga:一种用于多模态患者世界模型的体内本体论
论文介绍 Saga,这是一个多模态患者世界模型,能够从患者历史中学习共享状态以预测临床事件并生成多模态图像。研究基于 12 种癌症类型、461,370 名患者及 112 个中心的数据。
推荐理由:该工作提出 Saga 多模态患者世界模型,通过共享状态连接病史与未来事件,在癌症纵向预测任务中展现出优于基线的性能。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
论文介绍 Saga,这是一个多模态患者世界模型,能够从患者历史中学习共享状态以预测临床事件并生成多模态图像。研究基于 12 种癌症类型、461,370 名患者及 112 个中心的数据。
推荐理由:该工作提出 Saga 多模态患者世界模型,通过共享状态连接病史与未来事件,在癌症纵向预测任务中展现出优于基线的性能。
智元发布 Genie Studio 2.0 集成平台,连接机器人模型、任务工作流与现场系统,支持新任务环境七天验证。平台包含 Flywheel 模块用于数据收集、模型训练及仿真测试,Agent 模块用于拖拽式任务编排,Monitor 模块用于车队监控与远程干预。
推荐理由:平台整合数据、模型与现场系统,支持新任务环境七天验证,已在制造与轨交项目完成闭环。
针对现有自动驾驶基准过度追求真实性而忽视多样性不足的问题,本文提出 Flow-ERD 多智能体仿真器。该方法通过代理类型感知的流匹配(AFM)在保持运动一致性的同时保留细粒度多样性,并利用熵正则化蒸馏(ERD)微调闭环采样分布以防止模式坍塌。
推荐理由:该工作提出兼顾真实与多样性的多智能体交通仿真方法,在 WOSAC 挑战赛中表现领先。
论文介绍 Ψ-0.6,这是一个统一的视觉 - 语言世界模型,能够在共享的推理过程中自适应地组合感知、语言、几何和仿真模块。该模型通过“思维流”交错处理图像、文本以及显式的几何与运动表示,支持反事实模拟以判断物体移动是否阻碍路径等任务。
推荐理由:该工作提出统一视觉语言世界模型,通过自适应思维流整合感知与几何推理,支持反事实模拟并提升多视角空间推理能力。
UniAction 是一种统一的动作条件化框架,旨在解决现有世界模型因动作类型而异导致数据碎片化的问题。该框架将任意动作表示为稀疏的动作元素集合,每个元素具有离散语义身份和连续时空坐标,并直接映射到预训练视频模型的固有位置空间。
推荐理由:UniAction 提出统一动作条件框架,将异构动作映射至共享时空结构并引入基数校准注意力,在四类动作形式上优于专用专家模型。
针对复杂高维生物搜索空间探索中物理执行受限于静态自动化和未建模物理变异的瓶颈,本文提出 VERID(Verified Infrastructure for Discovery Laboratories),这是一种持久化、高保真的实验室工作站语义数字孪生基础架构。
推荐理由:提出 VERID 语义数字孪生基础设施,通过仿真验证与错误恢复机制解决湿实验室自动化瓶颈。
HGWM 耦合了 LLM 生成的房间锚点先验与持久化的空间语义记忆,采用两阶段机制(粗粒度视觉语义评分与细粒度符号兼容性测量)结合 LLM 方向推荐进行本地动作选择。
推荐理由:该工作提出分层图引导的世界模型,在仿真环境中实现零样本物体导航,提供了具体的成功率与路径效率指标及消融分析。
该论文提出了 UniWorld 框架,旨在解决连续视觉世界仿真中场景几何演化与持久化外观的耦合问题。该方法在共享视频生成模型中整合深度轨迹和参考外观,通过噪声对齐的重叠延续机制保持视觉历史,并利用滚动深度潜在状态保留几何控制。
推荐理由:UniWorld 框架在共享视频生成模型中耦合几何与外观历史,实现了实时连续视觉仿真。
论文提出了适用于高速越野导航的 TravSUITE 系统,该系统包含利用视觉基础模型构建几何语义局部地图的高效体素映射器,以及联合预测鸟瞰图下几何、语义、速度和成本的统一神经网络。
推荐理由:该工作提出无标注的自监督训练策略,结合地图补全与逆强化学习实现越野环境下的可通行性预测与风险自适应。
arXiv 发布 RADIANT 论文,提出一种基于物体表征的神经网络渲染器,无需每场景优化或运行时光线追踪即可合成新场景的全局光照。该架构将每个物体表示为 32 个表面补丁 token,利用 SE(3) 不变的内积嵌入几何距离与朝向以捕捉光传输,避免了对多边形数量的二次方依赖。
推荐理由:提出基于物体表征的前馈全局光照架构,在同等算力下训练步数更少且精度更高。
针对 NASA CADRE 等任务中单台漫游车无法应对月夜极寒的问题,本研究利用强化学习训练共享策略,让二十个小型机器人无需位置参考或相互接触,自发形成聚集核心与边缘循环的行为模式。
推荐理由:研究通过强化学习让二十个机器人自发形成类似帝企鹅的聚集与循环行为,在无需位置参考或接触的情况下实现热调节,使所有机器人在月夜后幸存。
针对机器人学习仿真中场景构建繁琐的问题,该研究提出了 WorldMirror 框架,将实到仿真(real-to-sim)构建定义为可执行世界程序的迭代优化过程。通过智能体分解观测场景、规划重建步骤并编排图像与三维生成工具,结合相机位姿锚定的场景表示来诊断和修正错误,从而从野外机器人演示中生成视觉保真且几何一致的交互式数字孪生,同时保持记录轨迹的物理有效性。
推荐理由:提出将实到仿真构建视为可执行程序的迭代优化,利用智能体编排工具生成物理一致的数字孪生。
论文提出了 RepresentNav 导航基础模型,该模型构建了由策略自身目标驱动的视觉表示空间。通过 Representation Residuals 模块整合多模态视觉编码器特征,实现端到端训练的策略与潜在思维链联合嵌入预测架构(JEPA)。
推荐理由:提出基于自构建表示空间的导航基础模型,在多个基准上刷新纪录并将成果迁移至实体机器人。
无界动力正式发布并开源MWA™-Phoenix端侧7B参数完整预训练模型,该模型在LIBERO-Plus、LIBERO-Pro等六项评测中取得领先成绩,验证了其在环境扰动与复杂操作方面的能力。
推荐理由:无界动力发布端侧7B隐空间世界模型及仿真工具,在多项评测中验证了仅凭RGB输入完成复杂操作与真机执行的能力。
该研究探讨了当前 AI 模型中概念与机制是否在不同模态间统一实现的问题。通过寻找能成功引导一种模态(如文本)生成的向量,并验证其能否零样本迁移到另一种模态(如图像),研究发现跨模态 Steering 在双向上均有效。
推荐理由:该预印本通过跨模态 Steering 向量实验,证实了统一多模态模型中语言与图像生成的概念机制存在零样本迁移。
针对视觉语言模型在动力学与物理因果关系上不可靠的问题,本文提出了 PhysEvolve 框架。该框架通过共享的 VLM 提出可执行的物理世界程序,利用确定性物理引擎冻结并模拟基线及反事实分支(如物体移除、目标坑洞),合成离散任务并通过精确验证反馈更新策略与课程。
推荐理由:该工作提出基于验证器的自进化框架,利用确定性物理引擎生成反事实数据以训练视觉语言模型进行因果推理。
本文研究了如何组织智能体框架(Agent harnesses)的验证工作以提升输出质量,提出了涵盖初始指令、执行提醒、完成门控和独立审查的四层框架。
推荐理由:该研究通过对比 17 种验证设计,为智能体工具调用中的测试时扩展提供了实证指导。
本文介绍了 Δτ-Bench 基准,用于评估大型工具生态系统结构演化下智能体的适应能力。该基准包含 1,588 个多轮任务,覆盖 42 个领域及六个连续生态状态。评测显示最强模型成功率仅为 42.3%,且现有技能学习方法无法随生态演变持续优化。研究据此提出了 Steward 系统,通过增量维护与动态配置实现更高成功率与更低开销。
推荐理由:该基准评测了智能体在工具生态演变下的适应力,揭示了现有技能学习方法难以持续迁移的瓶颈。
智元宣布开源 AGIBOT WORLD 2026 的第四版发布内容“物理推理”数据集,将任务设计重心从操作难度转向决策复杂度。该数据集覆盖具身智能五大研究方向,包含超 10 类逻辑推理场景,记录同一目标在不同状态与约束下的决策与执行过程。通过连接高层指令、子任务分段、动作步骤及空间标注,支持决策模型与底层策略的协同训练,旨在帮助机器人从孤立操作迈向自主完成复杂现实任务。
推荐理由:智元开源 AGIBOT WORLD Release 4,提供涵盖多状态约束的物理推理数据集与细粒度标注,支持决策 - 执行联合训练。
针对现有 VLA 模型在处理需记忆的长程任务时面临的瓶颈,本文提出 UniMem 框架,在单一骨干网络下统一高层视觉/文本记忆与低层控制。该方法利用事件分类器触发更新、关键帧编码器构建密集记忆并采用缓存技术降低开销。
推荐理由:UniMem 框架统一视觉与文本记忆,在仿真和硬件任务中显著优于固定间隔采样及分层 VLM-VLA 基线。